inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

Airflow 마스터 클래스

8장 postgres 에 insert 하는 Dag 수행오류

179

김하나

작성한 질문수 1

0

안녕하세요.

 

8장에서 postgres 에 insert하는 dag를 실행하면 아래와 같은 오류로 대기하다가 실패로 끝납니다.

구글에 찾아보면 'secret_key'를 모두 동일하게 적용해주라고 하는데, 어떻게 적용해야 되는지 찾지는 못해서 이렇게 문의하게 되었습니다.

 

아래 소스도 git에 올라와 있는 소스 그대로 올려서 수행했기 때문에 따로 올리지는 않았습니다.

docker-compose.yaml

dags_python_with_postgres

 

위에 상태에서 최종 오류로 떨어지면 오류 메세지를 확인할 수 있었습니다 .ㅜ

사실 원인은 위에 메세지가 아닌것 같아요.

ERROR - Failed to execute job 1119 for task insrt_postgres (connection to server at "172" (0.0.0.172), port 5432 failed: Connection timed out Is the server running on that host and accepting TCP/IP connections? connection to server at "28.0.3" (28.0.0.3), port 5432 failed: Connection timed out Is the server running on that host and accepting TCP/IP connections?

그리고, 저의 docker-compose.yaml 에서 postgres_custom, postgres의 설정부분입니다.

그리고, airflow의 connection 연결할 때도 포트는 5432로 했습니다.

 

사실 질문답변을 검색해보면 저와 비슷한 오류가 1개 있어서 확인을 해봤는데요

그 오류는 5429에서 5432로 변경해서 해결됐다고 나온 것 같고 저는 5432인데 해결이 안돼서

제가 실수한게 있는지 확인부탁드립니다. ㅜ

python 데이터-엔지니어링 airflow

답변 1

0

김현진

안녕하세요 김하나님

일단 올려주신 사진 중 첫 번째 올려주신 사진 (secret_key 관련한 내용)은 원인과 관련한 내용은 아니고

두 번째 올려주신 사진에 문제의 원인이 나와있습니다.

custom_postgres DB로 연결을 못하고 있는데 dag 안에서 172.28.0.3 IP 파라미터를 제대로 parsing 하지 못한 것 같은데요,

github에 있는 내용을 그대로 복사했다면 잘 되어야 맞는데 아무래도 dags_python_with_postgres.py 파일 내용이 잘못 들어간게 아닌가 싶습니다.

일단 dags/dags_python_with_postgres.py 내용을 한번 올려주시구요,

그리고 아래 ags_python_with_postgres.py 파일 안에서 print(ip) 구문을 넣고 한번 돌려보시겠어요? (아래 4번째 라인)

def insrt_postgres(ip, port, dbname, user, passwd, **kwargs):
        import psycopg2
        from contextlib import closing
        print(ip)

1

김하나

안녕하세요

알려주신 print(ip) 로 확인을 해보니 ip에 '.'이 아니라 ','로 들어가 있었습니다.

image

복사하고 db의 id,pw를 변경하면서 오타가 들어간 것 같아요.

변경하고 작업은 정상적으로 수행되었습니다.

 

감사합니다.

pykrx 회원제 전환으로 인한 실습 불가

0

114

2

수료증 발급

0

84

3

에러 발생 관련 질문드립니다.

0

83

2

vscode 작업화면에 오류가 발생하지 않습니다.

0

69

2

plugins 폴더 생성

0

75

2

WSL에서 git push 가 안되요 ㅠ

0

114

2

chatGPT&Airflow로 블로그 자동 포스팅하기 는 Deprecated 가 필요합니다.

0

67

2

github에 회원가입이 안되는데 원인이 뭔지 모르겠어요 ㅠ

0

734

2

설치중인데 venv를 꼭 써야할까요?

0

126

2

설치 버전 관련 질문입니다.

0

68

1

우분투 버전 다운받아야하는데 어떤걸로 설치해야할까요?

0

62

1

DAG 만들기 중 airflow 패키지 로드 에러

0

106

2

3.0에서도 수업노트가 성립하는지 확인 부탁드립니다!

0

95

3

task_id 사용법이 뭔가 바뀐 것 같습니다.

0

76

3

email operator 오류 관련

0

66

2

plugins 폴더 관련

0

100

2

bash operator 관련 문의입니다

0

78

3

스케쥴러 - DAG 파싱 부하 줄이는 과정 질문

0

79

2

Dags refresh 주기 관련 질문

0

125

2

wsl 관련 질문입니다.!

0

75

2

macOS에서 docker 설치

0

94

2

템플릿 변수에 대한 오류

0

61

2

custom_image 디렉토리 문의드립니다.

0

54

2

ETL 인터뷰 관련 문의

0

103

2