1년에 한 번 돌리는 스케줄도 에어플로우로 관리하면 좋을까요?
360
작성한 질문수 4
안녕하세요.
수업 잘 듣고 있습니다!
년 단위의 데이터를 가져오는 경우엔
1년에 딱 한 번만 코드를 작동하면 되는데,
이런 경우에도 에어플로우로 관리를 해주는 게 좋을까요?
태스크에 비해 너무 자원을 많이 쓰는 건지,
그래도 프로세스를 보기 편하게 관리할 수 있다는 점에도 활용하는 게 좋을지
고민이 많이 되네요.
강사님의 의견이 궁금합니다!
답변 1
1
안녕하세요 jihoon님
1년에 한번 돌리는 job도 airflow로 수행해도 괜찮습니다.
제 경험상 업무에서 1년 주기를 갖는 job은 그리 많진 않지만 있다면 airflow로 같이 관리하는게 좋지요.
참고로 airflow DAG 정의시 tag 필드를 이용할 수 있는데 daily, monthly, yearly 인지에 따라 DAG tag를 달아주면 WEB에서 tag에 따라 DAG을 필터해서 monthly DAG만 본다거나, yearly DAG만 보는 등 방법도 많이 사용합니다.
참고하시고 열공하세요 ^^
pykrx 회원제 전환으로 인한 실습 불가
0
111
2
수료증 발급
0
81
3
에러 발생 관련 질문드립니다.
0
82
2
vscode 작업화면에 오류가 발생하지 않습니다.
0
69
2
plugins 폴더 생성
0
74
2
WSL에서 git push 가 안되요 ㅠ
0
112
2
chatGPT&Airflow로 블로그 자동 포스팅하기 는 Deprecated 가 필요합니다.
0
66
2
github에 회원가입이 안되는데 원인이 뭔지 모르겠어요 ㅠ
0
723
2
설치중인데 venv를 꼭 써야할까요?
0
124
2
설치 버전 관련 질문입니다.
0
68
1
우분투 버전 다운받아야하는데 어떤걸로 설치해야할까요?
0
62
1
DAG 만들기 중 airflow 패키지 로드 에러
0
106
2
3.0에서도 수업노트가 성립하는지 확인 부탁드립니다!
0
95
3
task_id 사용법이 뭔가 바뀐 것 같습니다.
0
76
3
email operator 오류 관련
0
66
2
plugins 폴더 관련
0
96
2
bash operator 관련 문의입니다
0
78
3
스케쥴러 - DAG 파싱 부하 줄이는 과정 질문
0
79
2
Dags refresh 주기 관련 질문
0
124
2
wsl 관련 질문입니다.!
0
73
2
macOS에서 docker 설치
0
93
2
템플릿 변수에 대한 오류
0
61
2
custom_image 디렉토리 문의드립니다.
0
54
2
ETL 인터뷰 관련 문의
0
103
2