inflearn logo
강의

Course

Instructor

Apache Airflow with Silicon Valley Engineers

Learn about User Interface

airflow docker compose 질문드립니다.

Resolved

419

JP

10 asked

1

안녕하세요 선생님 airflow docker compose 질문드립니다.

  1. airflow docker compose로 최초 실행후 yml 파일을 수정하면 수정 내용만을 반영하게되는건가요? 아니면 새로운 docker compose를 빌드하는건가요?

  2. yml 또는 DAG를 수정하는 경우 ci/cd 관점에서 어떻게 관리하는지 궁금합니다.

감사합니다. 🙂

 

 

python 빅데이터 데이터-엔지니어링 airflow

Answer 1

1

altoformula

안녕하세요 JP님,

일단 첫번째 질문에 답변은, 이해하는 측면에 따라 다른데, docker compose를 실행하시면 YAML파일의 environmentcommand 같은 것은 YAML에서 매번 읽어서 다시 시작을 합니다. 다시 빌드한다라고 표현하신 거는 보통 Dockerfile을 사용할 때 다시 빌드한다고 말하는데, 여기서는 Docker hub에 있는 공개된 이미지를 그냥 다운 받아서 사용하는 것이기 때문에 버전을 바꾸시지 않는다면, 처음에 받은 이미지를 로컬 캐시에서 바로 사용합니다.

 

두번재 질문은 약간 이해가 안되는 부분인데, 보통 Docker compose는 프로덕션 환경에 사용하지 않고 개발자들이 같은 환경을 각자의 랩탑에서 사용해서 어플리케이션을 개발하기 위해 사용합니다. Docker compose YAML파일은 CI/CD 에서 사용되지 않고, Kubernetes의 메타 YML파일들이 CI/CD에서 사용됩니다.

 

도움이 되셨나 모르겠네요 ㅎㅎㅎ 더 질문이 있으시면 남겨주세요!

 

1

JP

궁금증이 해결되었습니다!

부족한 질문에 찰떡같이 답변해주셔서 너무 감사합니다!!

😆

6-6

0

8

1

작업형 1 유형 부분

0

11

1

수강평 이벤트

0

17

2

apache airflow 설치하기 질문

0

85

2

postgres_loader DAG 에러

1

52

3

Queue 강의를 듣고 난 후에 대한 질의

0

51

1

공식 compose 내 postgres db 설치시

0

75

2

postgres_loader의 apache-airflow-providers-postgres 버전 호환성

1

184

2

Airflow Limitation 강의에 대한 질문

1

92

1

airflow와 postgres간의 connection 오류

1

1146

4

from airflow.sensors.sql import SqlSensor에 대해 질문 있습니다.

1

254

1

메타데이터 의미

1

367

2

병렬처리 질문드립니다.

1

508

2

connection 정보 이전 방법 질문드립니다.

1

278

1

PostgresOperator로 대량의 데이터 업로드 방법 질문드립니다.

1

395

1

강의 할인 프로모션 질문입니다..

1

282

1

hook 질문드립니다.

1

347

1

section 2-hook 강의 질문

1

289

1

airflow tasks test 질문드립니다!

1

509

3

섹션1 apache airflow 설치하기 질문

1

462

1

my_first_dag.py 파일 질문 입니다

1

399

1

Docker 에서 airflow 사용시 질문드립니다

1

956

2

airflow tasks test error

2

577

1

블로그에 글을 올려도 되나요?

0

486

2