-
질문 & 답변
카테고리
-
세부 분야
데이터 수집 · 처리
-
해결 여부
미해결
1년에 한 번 돌리는 스케줄도 에어플로우로 관리하면 좋을까요?
23.09.21 17:34 작성 조회수 98
0
안녕하세요.
수업 잘 듣고 있습니다!
년 단위의 데이터를 가져오는 경우엔
1년에 딱 한 번만 코드를 작동하면 되는데,
이런 경우에도 에어플로우로 관리를 해주는 게 좋을까요?
태스크에 비해 너무 자원을 많이 쓰는 건지,
그래도 프로세스를 보기 편하게 관리할 수 있다는 점에도 활용하는 게 좋을지
고민이 많이 되네요.
강사님의 의견이 궁금합니다!
답변을 작성해보세요.
1
김현진
지식공유자23.09.21 21:53
안녕하세요 jihoon님
1년에 한번 돌리는 job도 airflow로 수행해도 괜찮습니다.
제 경험상 업무에서 1년 주기를 갖는 job은 그리 많진 않지만 있다면 airflow로 같이 관리하는게 좋지요.
참고로 airflow DAG 정의시 tag 필드를 이용할 수 있는데 daily, monthly, yearly 인지에 따라 DAG tag를 달아주면 WEB에서 tag에 따라 DAG을 필터해서 monthly DAG만 본다거나, yearly DAG만 보는 등 방법도 많이 사용합니다.
참고하시고 열공하세요 ^^
답변 1