Inflearn Community Q&A

asked

Airflow Master Class

Creating Bash operator DAG & Setting up DAG directory

어느순간 dags에 업로드해도 업로드가 되지않네요

Written on

·

275

0

airflow에서 잘되다가 윈도우 업데이트 이후 dags에 파일을 새로 생성해도 airflow에 추가가 되지 않습니다.

해결을 어떻게 해야할까요?

vlomes에 경로도 수정했

이미 올라와있는 dags는 코드를 수정하면 반영은 되더라고요,

python데이터-엔지니어링airflow

Answer 3

0

Questioner

이후 test123을 추가해봤지만 변화가없네요 git pull까지 한후입니다.

Instructor

혹시... test123.py 파일 만든 dag 내부에 dag_id가 복사해온 원본의 dag_id를 수정하지 않고 그대로 쓰신건 아니겠죠?

그런게 아니라면 우선 번거로우시겠지만 airflow 이미지를 지우고 다시 한번 셋팅해보는게 어떨까 합니다.

도커 컴포즈 내릴 때 아래와 같이 명령하년 이미지까지 모두 삭제합니다. 그리고 다시 올려주시면 이미지부터 다시 받아와요.

docker compose down --volumes --rmi all

0

Questioner

"C:\airflow_test\dags"

전 여기에 연결해서 쓰고 있었는데 재설치 하고 이것저것 하다 안되서 문의드렸었습니다.

0

Instructor

안녕하세요 조만준님!

일반적으로 윈도우 업데이트 때문에 dag이 인식되지 않는 경우는 잘 없는데요. 특이한 현상이네요.

우선 스케줄러 컨테이너 안으로 들어가서 dag 파일들이 잘 보이는지 확인해보실래요?

#> sudo docker ps
#> sudo docker exet -it {스케줄러ID} bash

위 명령어로 스케줄러 컨테이너 안으로 진입 후

/opt/airflow/dags 경로에 신규로 만든 dag 파일들이 보이는지 우선 확인해보실래요?

Questioner

asked