airflow.cfg 변경
164
작성한 질문수 6
안녕하세요 강사님
airflow config를 변경하기 위해 시도해보았는데
이렇게 expose를 false->true로 변경하여도 airflow web에서는 변경되지 않아서 혹시 어디가 잘못 되었는지 문의드립니다
그리고 dag인식이 느린 것 같아 dag_dir_list 값을 100으로 변경하였는데 cpu만 괜찮다면 다른 변수들은 수정할 필요가 없을까요?
답변 1
0
안녕하세요 kosa 님!
실습 환경대로 docker-compose.yaml 이용해서 올리고 있죠?
(컨테이너 안으로 들어가서 직접 airflow.cfg 수정하더라도 컨테이너 재기동이 필요한데 재기동 하는 순간 수정한게 사라지므로 의미없습니다)
그럼 변수명을 expose_config 라고 쓰면 안되고 바로 윗 줄 주석되어 있는 부분에 AIRFLOW__WEBSERVER__EXPOSE_CONFIG 라고 되어 있는 보이죠?
주석 해제 하시거나 저 이름으로 만들어주시면 됩니다.
참고로 docker-compose.yaml 파일에 작성할 때는 AIRFLOW__ 같은 접두사를 붙여서 작성하지만 airlfow.cfg 파일에 들어갈 때는 expose_config 이름으로 들어갑니다.
그리고 airflow 공식문서에 Environment Variable 항목을 보고 변수명 작성해주시면 됩니다.
그리고 DAG parsing 주기는 dag_dir_list_interval 파라미터로 주는데 이것도
AIRFLOW__SCHEDULER__ 를 붙여주셔야 해요.
그리고 스케줄러를 2개 이상 띄우지 않는다면 그 외 고려할 만한 부분은 없을 것 같네요.
답변이 되었을까요?
궁금한 건 또 언제든 질문주세요 ^^
pykrx 회원제 전환으로 인한 실습 불가
0
114
2
수료증 발급
0
84
3
에러 발생 관련 질문드립니다.
0
83
2
vscode 작업화면에 오류가 발생하지 않습니다.
0
69
2
plugins 폴더 생성
0
76
2
WSL에서 git push 가 안되요 ㅠ
0
115
2
chatGPT&Airflow로 블로그 자동 포스팅하기 는 Deprecated 가 필요합니다.
0
67
2
github에 회원가입이 안되는데 원인이 뭔지 모르겠어요 ㅠ
0
738
2
설치중인데 venv를 꼭 써야할까요?
0
126
2
설치 버전 관련 질문입니다.
0
68
1
우분투 버전 다운받아야하는데 어떤걸로 설치해야할까요?
0
62
1
DAG 만들기 중 airflow 패키지 로드 에러
0
106
2
3.0에서도 수업노트가 성립하는지 확인 부탁드립니다!
0
95
3
task_id 사용법이 뭔가 바뀐 것 같습니다.
0
76
3
email operator 오류 관련
0
66
2
plugins 폴더 관련
0
100
2
bash operator 관련 문의입니다
0
78
3
스케쥴러 - DAG 파싱 부하 줄이는 과정 질문
0
79
2
Dags refresh 주기 관련 질문
0
125
2
wsl 관련 질문입니다.!
0
75
2
macOS에서 docker 설치
0
94
2
템플릿 변수에 대한 오류
0
61
2
custom_image 디렉토리 문의드립니다.
0
54
2
ETL 인터뷰 관련 문의
0
103
2