스케줄링과 관련된 질문입니다.

Question

섹션3, 첫번째 강의에서 스케줄에 관한 질문입니다.   강의에서, start_date = 2023.1.1 schedule = "30 6 * * * " next_run = 2023 03 18 6:30 그리고 현재 날짜는 2023 03 19 인것으로 봤는데,   next_run이 현재날짜보다 뒤에 있으니 pause -> unpause 를 하게되면 자동실행이 안되어야 하는거 아닌가요? 강의에서는 자동으로 실행되는것으로 봐서요.   감사합니다.

김현진 · Answer

안녕하세요 Hyeonghwan Kwon 님 좋은 질문 올려주셔서 감사합니다. 그리고 내용 중 설명이 부족한 부분이 있습니다. 우선 Airflow에서 Dag을 catchup=False로 설정한 상태에서 unpause로 활성화 했을 때, 기본적으로 가장 마지막으로 돌았어야 할 배치일자를 실행시키게 되어있습니다. 예를 들어 수업 내용에서와 같이 매월 첫째주 토요일에 수행되는 Monthly 작업 현재: 2023/03/19 이런 조건이라면 마지막으로 돌았어야 할 배치는 3월 첫째주 토요일인 2023/03/04 입니다. 하지만 강의에서 보다시피 unpause 했을 때 자동으로 시작되지 않았죠. 그 이유는 start_date 때문입니다.   마지막으로 돌았어야 할 배치의 data_interval_end는 2023/03/04 이고 배치의 data_interval_start는 2023/02/04 입니다. 그러나 start_date를 2023/03/01 로 주었습니다. start_date가 2023/02/04 이후에 있기 때문에 해당 구간의 배치가 돌지 않은 것입니다. 만약 start_date를 2023/02/04 이전으로 주면 unpause 했을 때 자동적으로 한번 수행될 겁니다. 지금 설명한 것을 그림으로 나타내면 아래와 같습니다.   종합하자면 UI에서 보이는 Next Run보다 현재 날짜가 우측에 있다고 무조건 안 도는 것은 아니고 dag의 start_date가 지난 배치의 data_interval_start 보다 뒤에 있게 되면 안 돌게 됩니다. 강의 내용 전달에 미스가 있었던 것 같습니다. ^^ 너그러이 양해 부탁드립니다.   새해 복 많이 받으세요!