템플릿 변수에 대한 오류
52
1 asked
안녕하세요 CLI로 Trigger 기능을 수행하는 부분 강의를 듣던 중에,
Web UI에서 Trigger를 누르면 정상적으로 수행되지만,
쉘 스크립트 커맨드로 airflow dags trigger <DAG 이름>이라는 명령어를 실행했을 때
아래와 같은 실패 로그가 나타나서 문의드립니다.
혹시 커맨드라인으로 실행하면 {{data_interval_end}} 와 같은 템플릿을 적용할 수 없나요?
Answer 2
0
안녕하세요 덕인떡집님!
아이고 제가 이 질문글을 놓쳤네요. 죄송합니다. 이제서야 답글을 다네요.
결론부터 말씀드리자면 airflow 3.0 버전이 되면서 event 기반의 dag 스케줄링 기능을 강화하면서 이전까지 주요 컨셉이었던 스케줄 간격 기반의 dag 스케줄링 기능을 버렸습니다.
그래서 airflow 3.0 버전부터는 기본적으로 data_interval_start와 end 값이 동일하게 표현됩니다. 즉 2.x 버전에서는 data_interval_start 와 end 값은 dag 실행 주기만큼 벌어져 있었는데 3.0 부터는 동일한 값을 가진다는 의미이죠.
정리하자면 Airflow 3.0이 되면서 스케줄 간격 기반의 고전적인 스케줄링 기능을 포기하고 Event 기반의 스케줄링에 더 힘을 주게 되었습니다.
그리고 Airflow 3.0 변화 중 아래 내용이 있습니다. (Airflow 3.0.0 Update 부분)
이 내용은 Asset (구 Dataset)을 이용해서 Dag 을 트리거링 했을 때나 REST API를 이용해서(CLI도 포함) dag 트리거링 했을 때는 더이상 logical_data가 제공되지 않는다는 말입니다. 그래서 3.0 부터는 data_interval_start와 end 값이 기본적으로 제공되지는 않고 REST API나 CLI를 이용해서 트리거링할 때 명시적으로 logical_date 옵션 값을 넣어야 합니다.
airflow dags trigger {dag name} --logical-date '2025-10-10 00:00:00'
이런식으로 logical_date 값을 주면 에러나지 않고 돌기는 할겁니다.
airflow 2.10 버전까지는 logical-date 값을 넣지 않아도 잘 돌거에요. airflow 3.0 부터 바뀐 부분이라고 보시면 되고 이 내용은 제가 airflow 3.0 버전 update 부분에서 다루고 있습니다.
참고하세요 ^^
pykrx 회원제 전환으로 인한 실습 불가
0
83
2
수료증 발급
0
77
3
에러 발생 관련 질문드립니다.
0
73
2
vscode 작업화면에 오류가 발생하지 않습니다.
0
66
2
plugins 폴더 생성
0
69
2
WSL에서 git push 가 안되요 ㅠ
0
106
2
chatGPT&Airflow로 블로그 자동 포스팅하기 는 Deprecated 가 필요합니다.
0
62
2
github에 회원가입이 안되는데 원인이 뭔지 모르겠어요 ㅠ
0
672
2
설치중인데 venv를 꼭 써야할까요?
0
116
2
설치 버전 관련 질문입니다.
0
65
1
우분투 버전 다운받아야하는데 어떤걸로 설치해야할까요?
0
59
1
DAG 만들기 중 airflow 패키지 로드 에러
0
103
2
3.0에서도 수업노트가 성립하는지 확인 부탁드립니다!
0
94
3
task_id 사용법이 뭔가 바뀐 것 같습니다.
0
75
3
email operator 오류 관련
0
61
2
plugins 폴더 관련
0
89
2
bash operator 관련 문의입니다
0
76
3
스케쥴러 - DAG 파싱 부하 줄이는 과정 질문
0
77
2
Dags refresh 주기 관련 질문
0
121
2
wsl 관련 질문입니다.!
0
71
2
macOS에서 docker 설치
0
92
2
custom_image 디렉토리 문의드립니다.
0
48
2
ETL 인터뷰 관련 문의
0
98
2
섹션 9. Connection & Hook - 50강 관련 질문
0
90
2