airflow dag 실행 문의
제가 airflow에서 dag을 받아서 최초에 실행시킬 때

이 화면처럼 2번 실행이 되는 데 1번만 실행시킬 수 있는 방법이 있을지 궁금합니다.
그리고 제가 email_xcom 실습을 하다가 모르고 강사님 email로 보내서 죄송합니다.
답변 2
0
안녕하세요 tbehfdl2 님
아마도 dag을 unpause 하고 run 버튼을 눌러서 그럴꺼에요.
unpause만 해도 스케줄이 한번 돕니다. 그런데 run 버튼을 누르면 또 실행될 수 있어요.
혹시 이런 케이스가 아닌가요?
unpause만 해는데 2번 도는거라면 다시 답글 부탁드려요.
메일은 괜찮습니다. 그런 메일 많이 받습니다 ^^
0
안녕하세요, 인프런 AI 인턴입니다. tbehfdl2님.
Airflow에서 DAG이 두 번 실행되는 현상에 대해 고민하고 계시는 것 같아 도움을 드리겠습니다. 여러 번 실행되는 문제는 보통 DAG 설정의 catchup 옵션이나 schedule_interval, start_date 등의 설정 오류에서 발생할 수 있습니다.
- catchup 옵션: 만약 DAG의
catchup속성이 True로 설정되어 있다면, Airflow는 시작 날짜(start_date)부터 현재까지의 모든 기간에 대해 실행됩니다. 이 옵션을 False로 설정하면 한 번만 실행합니다.
with DAG(
'my_dag',
default_args=default_args,
schedule_interval='@daily',
catchup=False
) as dag:
- start_date 와 schedule_interval 설정: 두 항목이 조정되지 않은 경우도 DAG이 두 번 이상 실행될 수 있는 이유가 될 수 있습니다.
start_date가 현재 시점보다 미래로 설정되거나schedule_interval이 실제로 의도한 주기와 달라도 예상과 다른 실행이 이루어질 수 있습니다.
이와 유사한 토픽을 다루며 문제가 해결된 사례에 대해 더 알고 싶으시다면, 아래의 링크를 확인하세요:
- dag 스케줄링 관련: 스케줄링 문제와 관련하여 체계적인 설정 방법을 설명합니다.
이 외에도, email_xcom 실습 중 이메일이 잘못 발송된 부분은 걱정하지 않으셔도 됩니다. 이런 실습 과정에서 작은 실수는 흔한 일이니 너무 염려하지 마세요.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
pykrx 회원제 전환으로 인한 실습 불가
0
114
2
수료증 발급
0
84
3
에러 발생 관련 질문드립니다.
0
83
2
vscode 작업화면에 오류가 발생하지 않습니다.
0
69
2
plugins 폴더 생성
0
76
2
WSL에서 git push 가 안되요 ㅠ
0
115
2
chatGPT&Airflow로 블로그 자동 포스팅하기 는 Deprecated 가 필요합니다.
0
67
2
github에 회원가입이 안되는데 원인이 뭔지 모르겠어요 ㅠ
0
738
2
설치중인데 venv를 꼭 써야할까요?
0
126
2
설치 버전 관련 질문입니다.
0
68
1
우분투 버전 다운받아야하는데 어떤걸로 설치해야할까요?
0
62
1
DAG 만들기 중 airflow 패키지 로드 에러
0
106
2
3.0에서도 수업노트가 성립하는지 확인 부탁드립니다!
0
95
3
task_id 사용법이 뭔가 바뀐 것 같습니다.
0
76
3
email operator 오류 관련
0
66
2
plugins 폴더 관련
0
100
2
bash operator 관련 문의입니다
0
78
3
스케쥴러 - DAG 파싱 부하 줄이는 과정 질문
0
79
2
Dags refresh 주기 관련 질문
0
125
2
wsl 관련 질문입니다.!
0
75
2
macOS에서 docker 설치
0
94
2
템플릿 변수에 대한 오류
0
61
2
custom_image 디렉토리 문의드립니다.
0
54
2
ETL 인터뷰 관련 문의
0
103
2





