inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

Airflow 마스터 클래스

Python 오퍼레이터 기본

auto refresh

639

jihoon

작성한 질문수 4

0

안녕하세요.

강의 잘 듣고 있습니다.

 

저는 Mac환경에서 수강중이고,

airflow 2.7.1을 사용중입니다.

 

강의에서 dag을 pull하고 2~3분 정도 기다리면 auto-refresh되어 compose를 재실행하지 않아도 된다고 하셨는데,

제 경우엔 auto-refresh가 된 이후에도 새로 추가된 dag이 리스트에 나타나지 않더라구요.

 

그래서 매번 compose를 재실행하고 있는데,

혹시 의심가는 원인이 있다면 말씀해주실 수 있으실까요?

구글링을 해봐도 해결방법을 찾기 쉽지 않아서 질문 남깁니다ㅜㅜ

python 데이터-엔지니어링 airflow

답변 2

1

김현진

안녕하세요 jihoon님!

음.. 일단 질문주신걸로는 원인을 추정하기가 쉽지 않네요.

몇 가지 테스트를 해보면서 원인을 찾아봐야 할 듯 합니다.

git pull 을 통해 새로운 dag을 local에서 받은 후에

스케줄러 컨테이너 안으로 들어가서 /opt/airflow/dags 폴더에 해당 파일이 보이는지 확인해보시겠어요?

 

스케줄러 컨테이너 안으로 들어가는 것은 sudo docker ps 명령으로 컨테이너 목록을 확인한 후

sudo docker exec -it {스케줄러컨테이너ID} bash 명령으로 들어갈 수 있습니다.

 

0

jihoon

답변 감사합니다!!

 

상위 폴더를 airflow

하위 폴더를 airflow

 

동일한 이름으로 설정해서 그랬나봐요.

상위 폴더 이름을 바꿔주니까 인식하네요.

감사합니다!

pykrx 회원제 전환으로 인한 실습 불가

0

102

2

수료증 발급

0

78

3

에러 발생 관련 질문드립니다.

0

77

2

vscode 작업화면에 오류가 발생하지 않습니다.

0

68

2

plugins 폴더 생성

0

73

2

WSL에서 git push 가 안되요 ㅠ

0

107

2

chatGPT&Airflow로 블로그 자동 포스팅하기 는 Deprecated 가 필요합니다.

0

65

2

github에 회원가입이 안되는데 원인이 뭔지 모르겠어요 ㅠ

0

704

2

설치중인데 venv를 꼭 써야할까요?

0

119

2

설치 버전 관련 질문입니다.

0

66

1

우분투 버전 다운받아야하는데 어떤걸로 설치해야할까요?

0

60

1

DAG 만들기 중 airflow 패키지 로드 에러

0

104

2

3.0에서도 수업노트가 성립하는지 확인 부탁드립니다!

0

94

3

task_id 사용법이 뭔가 바뀐 것 같습니다.

0

75

3

email operator 오류 관련

0

62

2

plugins 폴더 관련

0

91

2

bash operator 관련 문의입니다

0

77

3

스케쥴러 - DAG 파싱 부하 줄이는 과정 질문

0

78

2

Dags refresh 주기 관련 질문

0

123

2

wsl 관련 질문입니다.!

0

72

2

macOS에서 docker 설치

0

92

2

템플릿 변수에 대한 오류

0

58

2

custom_image 디렉토리 문의드립니다.

0

51

2

ETL 인터뷰 관련 문의

0

100

2