1년에 한 번 돌리는 스케줄도 에어플로우로 관리하면 좋을까요?
367
작성한 질문수 4
안녕하세요.
수업 잘 듣고 있습니다!
년 단위의 데이터를 가져오는 경우엔
1년에 딱 한 번만 코드를 작동하면 되는데,
이런 경우에도 에어플로우로 관리를 해주는 게 좋을까요?
태스크에 비해 너무 자원을 많이 쓰는 건지,
그래도 프로세스를 보기 편하게 관리할 수 있다는 점에도 활용하는 게 좋을지
고민이 많이 되네요.
강사님의 의견이 궁금합니다!
답변 1
1
안녕하세요 jihoon님
1년에 한번 돌리는 job도 airflow로 수행해도 괜찮습니다.
제 경험상 업무에서 1년 주기를 갖는 job은 그리 많진 않지만 있다면 airflow로 같이 관리하는게 좋지요.
참고로 airflow DAG 정의시 tag 필드를 이용할 수 있는데 daily, monthly, yearly 인지에 따라 DAG tag를 달아주면 WEB에서 tag에 따라 DAG을 필터해서 monthly DAG만 본다거나, yearly DAG만 보는 등 방법도 많이 사용합니다.
참고하시고 열공하세요 ^^
WSL에서 Airflow 실행 시 로컬 venv 라이브러리 사용 여부 및 관리 방법
0
27
2
dags_email_on_failure
0
31
3
DAG 실습 - dags_bash_operator 실행 실패
0
36
3
pykrx 회원제 전환으로 인한 실습 불가
0
154
2
수료증 발급
0
104
3
에러 발생 관련 질문드립니다.
0
101
2
vscode 작업화면에 오류가 발생하지 않습니다.
0
84
2
plugins 폴더 생성
0
90
2
WSL에서 git push 가 안되요 ㅠ
0
139
2
chatGPT&Airflow로 블로그 자동 포스팅하기 는 Deprecated 가 필요합니다.
0
81
2
github에 회원가입이 안되는데 원인이 뭔지 모르겠어요 ㅠ
0
861
2
설치중인데 venv를 꼭 써야할까요?
0
142
2
설치 버전 관련 질문입니다.
0
76
1
우분투 버전 다운받아야하는데 어떤걸로 설치해야할까요?
0
68
1
DAG 만들기 중 airflow 패키지 로드 에러
0
117
2
3.0에서도 수업노트가 성립하는지 확인 부탁드립니다!
0
109
3
task_id 사용법이 뭔가 바뀐 것 같습니다.
0
89
3
email operator 오류 관련
0
69
2
plugins 폴더 관련
0
107
2
bash operator 관련 문의입니다
0
85
3
스케쥴러 - DAG 파싱 부하 줄이는 과정 질문
0
89
2
Dags refresh 주기 관련 질문
0
135
2
wsl 관련 질문입니다.!
0
86
2
macOS에서 docker 설치
0
107
2