inflearn logo
강의

Course

Instructor

Airflow Master Class

Creating Bash operator DAG & Setting up DAG directory

(맥환경) dag 파일 인식 안됨

239

five

3 asked

0

안녕하세요. 강사님

 

강의따라 docker-compose.yaml 수정 후 에어플로우 내렸다가 다시 올렸는데 dags_bash_operator가 local hostdp에서 보이지 않습니다. (다시 내렸다가 올려도 그대로네요..)

 

올리기 위해 어떻게 접근해볼 수 있을까요?

맥환경이고 캡처와 같이 수정까지 완료된 상황입니당.

 

 

image.png

 

python 데이터-엔지니어링 airflow

Answer 2

0

five

네넵 맥북 로컬 디렉토리 airflow/dags 내 dags_bash_operator.py 파일은 그대로 있습니다!

 

스케줄러 노드 안으로 진입 후 cd /opt/airflow/dags 로 이동했했을 때는 dags_bash_operator.py 파일이 보이지 않습니다.. ㅠㅠ

################################

 

*폴더 경로 이슈로 파악하였고 폴더 재생성 후 파일 옮기니 해결되었습니다 ㅠㅠ 감사합니다!!  

 

0

hyunjinkim

five 님 잘 해결되어서 다행입니다.

맥북 내 디렉토리 경로에 문제가 있었나보네요?

암튼 잘 수강해주시고 문의사항은 언제든 올려주세요 ^^

 

0

hyunjinkim

안녕하세요 five 님

우선 맥북 로컬 디렉토리 airflow/dags 내 dags_bash_operator.py 파일은 그대로 있죠?

그러면 docker-compose up 하고 스케줄러가 올라왔을 때 스케줄러 노드로 들어가서 해당 파일이 보이는지 확인해봐야 합니다.

 

docker ps 명령을 통해 스케줄러 노드의 ID를 확인한 후 아래 처럼 명령해주면 스케줄러 노드 안으로 진입할 수 있어요.

docker exec -it {스케줄러노드ID} bash 

 

이 상태에서 cd /opt/airflow/dags 로 이동해서 dags_bash_operator.py 파일이 보이는지 확인해보실래요?

pykrx 회원제 전환으로 인한 실습 불가

0

104

2

수료증 발급

0

79

3

에러 발생 관련 질문드립니다.

0

77

2

vscode 작업화면에 오류가 발생하지 않습니다.

0

68

2

plugins 폴더 생성

0

73

2

WSL에서 git push 가 안되요 ㅠ

0

108

2

chatGPT&Airflow로 블로그 자동 포스팅하기 는 Deprecated 가 필요합니다.

0

65

2

github에 회원가입이 안되는데 원인이 뭔지 모르겠어요 ㅠ

0

705

2

설치중인데 venv를 꼭 써야할까요?

0

119

2

설치 버전 관련 질문입니다.

0

66

1

우분투 버전 다운받아야하는데 어떤걸로 설치해야할까요?

0

60

1

DAG 만들기 중 airflow 패키지 로드 에러

0

104

2

3.0에서도 수업노트가 성립하는지 확인 부탁드립니다!

0

94

3

task_id 사용법이 뭔가 바뀐 것 같습니다.

0

75

3

email operator 오류 관련

0

63

2

plugins 폴더 관련

0

91

2

bash operator 관련 문의입니다

0

77

3

스케쥴러 - DAG 파싱 부하 줄이는 과정 질문

0

78

2

Dags refresh 주기 관련 질문

0

123

2

wsl 관련 질문입니다.!

0

72

2

macOS에서 docker 설치

0

92

2

템플릿 변수에 대한 오류

0

58

2

custom_image 디렉토리 문의드립니다.

0

51

2

ETL 인터뷰 관련 문의

0

100

2