Docker 에서 airflow 사용시 질문드립니다
956
7 câu hỏi đã được viết
강의에서는 강사님께서 airflow standalone 을 사용하셨는데,
docker image로 airflow 서버 생성한 다음 postgres 서버와 연결하려고 하니 테스트 fail이 나고 DAG도 돌아가지 않는 것 같습니다. 혹시 docker image 상에서 DB connect 하는 방법 가이드 부탁가능하실까요?
Airflow - connection setting
DB connection info
Câu trả lời 2
0
안녕하세요 gogo91rla님,
좋은 질문입니다!
https://github.com/dimz119/learn-apache-airflow/blob/main/docker-compose.yaml#L60
요기 코드를 보시면 아시겠지만, airflow 안에서는 postgres로 접근 가능합니다.
https://github.com/dimz119/learn-apache-airflow/blob/main/docker-compose.yaml#L89
username과 password도 위에 있습니다.
~/ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
5ccbd0b29de7 apache/airflow:2.6.2 "/usr/bin/dumb-init …" 13 minutes ago Up 17 seconds (health: starting) 8080/tcp learn-apache-airflow-airflow-scheduler-1
45dbfab1cc67 apache/airflow:2.6.2 "/usr/bin/dumb-init …" 13 minutes ago Up 17 seconds (health: starting) 8080/tcp learn-apache-airflow-airflow-worker-1
398a35c71e53 apache/airflow:2.6.2 "/usr/bin/dumb-init …" 13 minutes ago Up 17 seconds (health: starting) 8080/tcp learn-apache-airflow-airflow-triggerer-1
7d04c2991435 apache/airflow:2.6.2 "/usr/bin/dumb-init …" 13 minutes ago Up 17 seconds (health: starting) 0.0.0.0:8080->8080/tcp learn-apache-airflow-airflow-webserver-1
2bef277a9d27 postgres:13 "docker-entrypoint.s…" 13 minutes ago Up 33 seconds (healthy) 0.0.0.0:5432->5432/tcp learn-apache-airflow-postgres-1
79610a762a93 redis:latest "docker-entrypoint.s…" 13 minutes ago Up 33 seconds (healthy) 6379/tcp learn-apache-airflow-redis-1
~/ docker exec -it 7d04c2991435 /bin/bash
airflow@7d04c2991435:/opt/airflow$ nc -vz postgres 5432
Connection to postgres (172.31.0.3) 5432 port [tcp/postgresql] succeeded!
airflow@7d04c2991435:/opt/airflow$
조만간 한번 만들어 보겠습니다 ㅎㅎ
참고로 여기에 sample_table 만드시고 하셔야 합니다
0
답변 감사합니다.
혹시 여기에 sample_table을 만든다는 말은 Docker Airflow에 이미 설치된 Postgres DB에 샘플테이플을 생성해야한다는 말씀이실까요? 강의에서는 Local 에서 Postgres DB를 설치해서 만드는 것 같은데 이경우 DB생성 위치가 다르다고 생각해야될까요?
그리고 Docker 이미지 위에 Airflow를 만든다고 하더라도 외부(여기서는 사용자 Local PC)에 생성된 DB에도 연결이 가능할 거 같은데, 이번 강의에서 의도하신 환경내에서 실습할 수 있으면 좋을 것 같습니다.
감사합니다 ㅎㅎ
0
네 db 생성 위치가 다릅니다. 그리고 다커 내부에서 밖에 있는 db에 접근하시려면 접근 가능한 도메인이어야 합니다. 랩탑에서 따로 돌린 티비에는 접근 불가능할 겁니다.
디스코드 소통창구는 없어졌나요 ??
0
5
1
FOREIGN KEY 정리하기, 영상대로 SQL코드 복붙해도 안되요.
0
3
1
모델 서빙과 관련된 강좌 출시 예정된 바가 있으신지 여쭤봅니다!
0
6
1
apache airflow 설치하기 질문
0
85
2
postgres_loader DAG 에러
1
52
3
Queue 강의를 듣고 난 후에 대한 질의
0
51
1
공식 compose 내 postgres db 설치시
0
75
2
postgres_loader의 apache-airflow-providers-postgres 버전 호환성
1
184
2
Airflow Limitation 강의에 대한 질문
1
92
1
airflow와 postgres간의 connection 오류
1
1146
4
from airflow.sensors.sql import SqlSensor에 대해 질문 있습니다.
1
254
1
메타데이터 의미
1
367
2
병렬처리 질문드립니다.
1
508
2
connection 정보 이전 방법 질문드립니다.
1
278
1
PostgresOperator로 대량의 데이터 업로드 방법 질문드립니다.
1
395
1
강의 할인 프로모션 질문입니다..
1
282
1
hook 질문드립니다.
1
347
1
section 2-hook 강의 질문
1
289
1
airflow tasks test 질문드립니다!
1
509
3
airflow docker compose 질문드립니다.
1
419
1
섹션1 apache airflow 설치하기 질문
1
462
1
my_first_dag.py 파일 질문 입니다
1
399
1
airflow tasks test error
2
577
1
블로그에 글을 올려도 되나요?
0
486
2