2024-08-30T12:51:10.279Z

0

답변 감사합니다.

원래 선생님의 방식대로 현재 날짜로 폴더를 만들었는데 에러 해결하는 과정에서 "Propagation": "rprivate" 속성에는 새로운 폴더가 생성되는게 안된다고...챗지피티가...그래서 바로 csv파일을 만드는 코드로 수정하였습니다.

추가로 권한 문제일수도 있을거같애서 chmod 777 명령어로 file 디렉토리 권한을 수정했습니다.

from operators.seoul_api_to_csv_operator import SeoulApiToCsvOperator
from airflow import DAG
import pendulum

with DAG(
    dag_id= "dags_seoul_api_corona",
    schedule="0 7 * * *",
    start_date=pendulum.datetime(2024,8,27, tz="Asia/Seoul"),
    catchup=False
) as dag :
    """대중교통 분실물"""
    tb_lost_article_info = SeoulApiToCsvOperator(
        task_id = "tb_lost_article_info",
        dataset_nm="lostArticleBizInfo",
        path="/opt/airflow/files",
        file_name= "TbLostArticleInfo{{data_interval_end.in_timezone('Asia/Seoul') | ds_nodash}}.csv"
    )
    """주차장"""
    tb_use_year_status_view = SeoulApiToCsvOperator(
        task_id = "tb_use_year_status_view",
        dataset_nm="TbUseYearstatusView",
        path="/opt/airflow/files",
        file_name= "TbUseYearstatusView{{data_interval_end.in_timezone('Asia/Seoul') | ds_nodash}}.csv"
    )
    
    tb_lost_article_info >> tb_use_year_status_vie

0

아 챗gpt가 거짓말을 했군요 ㅋㅋ

어쩐지 볼륨속성에 그런 정보까지는 잘 들여다보지는 않는데 의아했어요 ^^

그런데 files디렉토리에 권한이 없다면 보통 권한 에러가 뜨면서 dag도 에러로 종료되거든요. 아마 에러없이 성공으로 마쳤다면 권한 문제는 아니었던것 같아요. 보통 권한문제는 files 디렉토리를 만들때 sudo mkdir files 명령어로 수행했을 때 발생합니다. root 로 만들어지거든요.

그나저나 실습과 달리 다른 데이터셋으로 해보신것고 훌륭합니다. 코로나 데이터셋이 더이상 갱신이 안되고있어서..^^

그래서 지금은 문제가 해결이 된건가요?