dags 경로 설정 질문 있습니다.
안녕하세요!
현재 Bash operator DAG 만들기 & DAG 디렉토리 셋팅 강의를 수강하고 있습니다.
19분 50초 즈음 dags 폴더의 경로를 설정하는 과정에서 git repo 내의 dags를 지정하는 것에 궁금증이 생겨 질문을 작성하게 되었습니다.
만약 제가 다른 repo를 파서 새로운 dags 폴더를 만들게 되면, 그 때는 저 환경 설정을 다시 해야한다고 생각하는데, 이게 맞는지 궁금합니다. 다시 설정을 하지 않으려면, 설정한 dags 안에 모든 dag가 들어가야 하는데, 나중에 헷갈리지는 않을까 걱정이 되어 질문 드립니다.
덕분에 airflow 공부 하는 것이 기대가 됩니다. 좋은 강의 해주셔서 정말 감사합니다.
답변 1
1
안녕하세요 김민서님!
먼저 질문에 대해 답변드리자면
만약 제가 다른 repo를 파서 새로운 dags 폴더를 만들게 되면, 그 때는 저 환경 설정을 다시 해야한다고 생각하는데, 이게 맞는지 궁금합니다.
--> 맞습니다. 새로운 dag 폴더를 컨테이너와 연결하려면 docker-compose.yaml 파일 수정 후 재기동해주셔야 합니다.
혹시 민서님이 원하시는게 2개의 디렉토리를 각각 서로 다른 git repository와 연동하고, 두 디렉토리 모두 dags 폴더로써 인식하게끔 하고싶은 거라면 쉽게 해결 가능합니다.
에어플로우는 $AIRFLOW_HOME/dags 디렉토리내 여러 디렉토리를 두어도 그 안의 파일들 인식이 가능합니다.
WSL에서 $HOME/airflow/dags/git-repo1 디렉토리를 하나 만든 후 이 디렉토리를 git-repo1과 연동하고
$HOME/airflow/dags/git-repo2 디렉토리도 생성, git-repo2와 연동하게끔 하신다면
docker-compose.yaml 파일의 volumes 항목은 수업에 나온대로 놔두시면 됩니다.
그러면 컨테이너에서 봤을 때
/opt/airflow/dags
|----/git-repo1
|----/git-repo2이렇게 디렉토리가 구성될 것이고, 두 디렉토리 안의 dag 파일들을 모두 파싱합니다.
궁금증이 해결되셨을까요?
pykrx 회원제 전환으로 인한 실습 불가
0
109
2
수료증 발급
0
81
3
에러 발생 관련 질문드립니다.
0
82
2
vscode 작업화면에 오류가 발생하지 않습니다.
0
69
2
plugins 폴더 생성
0
74
2
WSL에서 git push 가 안되요 ㅠ
0
112
2
chatGPT&Airflow로 블로그 자동 포스팅하기 는 Deprecated 가 필요합니다.
0
66
2
github에 회원가입이 안되는데 원인이 뭔지 모르겠어요 ㅠ
0
723
2
설치중인데 venv를 꼭 써야할까요?
0
124
2
설치 버전 관련 질문입니다.
0
68
1
우분투 버전 다운받아야하는데 어떤걸로 설치해야할까요?
0
62
1
DAG 만들기 중 airflow 패키지 로드 에러
0
106
2
3.0에서도 수업노트가 성립하는지 확인 부탁드립니다!
0
95
3
task_id 사용법이 뭔가 바뀐 것 같습니다.
0
76
3
email operator 오류 관련
0
66
2
plugins 폴더 관련
0
96
2
bash operator 관련 문의입니다
0
78
3
스케쥴러 - DAG 파싱 부하 줄이는 과정 질문
0
79
2
Dags refresh 주기 관련 질문
0
123
2
wsl 관련 질문입니다.!
0
73
2
macOS에서 docker 설치
0
93
2
템플릿 변수에 대한 오류
0
61
2
custom_image 디렉토리 문의드립니다.
0
54
2
ETL 인터뷰 관련 문의
0
103
2