inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

실리콘밸리 엔지니어와 함께하는 Apache Airflow

첫번째 DAG 만들어보기

my_first_dag.py 파일 질문 입니다

400

gogo91rla

작성한 질문수 7

1

Standalone 환경을 처음 세팅하게 되면 dags 디렉토리가 별도로 없는데 사용자가 직접 만들어주면 되는지 질문드립니다.

 

그리고 standalone 으로 airflow 서버를 작동시킨 이후 다시 exit 할 경우 자꾸 localhost에 서버가 남아있어 재 실행이 안되서 컴퓨터 리붓을 해야하는데 혹시 다른 방법이 있을까요?

아래와 같은 방식으로 PID 서버를 kill 하지만 그래도 안될 경우가 많은 것 같습니다.

(수정) 아래 방법은 작동하는 것 같네요

ps -ef | grep airflow

sudo kill -9 [PID port]

python 빅데이터 데이터-엔지니어링 airflow

답변 1

0

미쿡엔지니어

안녕하세요 gogo91rla님,

일단 첫번째 질문인 dags은 직접 만들어도 됩니다. 기본적으로 Airflow는 그 디렉토리를 기대하고 있는데, 자세한 건 $AIRFLOW_HOME의 상대적인 디렉토리여야 한다는 점입니다(자세한 점은 https://airflow.apache.org/docs/apache-airflow/stable/howto/set-config.html 를 참조하세요)

두번째로, 강의를 듣다 보시다보면, 다커를 사용해서 Airflow를 바로 시작하는 부분이 있으니, 그때부터는 사용하기 편하실 겁니다.

 

ZIP 파일

0

11

2

26강 13F 강의 불일치 및 질문 요청

0

15

3

[업로드오류] 강의 내용과 제목 불일치

0

11

2

apache airflow 설치하기 질문

0

86

2

postgres_loader DAG 에러

1

54

3

Queue 강의를 듣고 난 후에 대한 질의

0

51

1

공식 compose 내 postgres db 설치시

0

76

2

postgres_loader의 apache-airflow-providers-postgres 버전 호환성

1

184

2

Airflow Limitation 강의에 대한 질문

1

93

1

airflow와 postgres간의 connection 오류

1

1147

4

from airflow.sensors.sql import SqlSensor에 대해 질문 있습니다.

1

254

1

메타데이터 의미

1

368

2

병렬처리 질문드립니다.

1

508

2

connection 정보 이전 방법 질문드립니다.

1

278

1

PostgresOperator로 대량의 데이터 업로드 방법 질문드립니다.

1

396

1

강의 할인 프로모션 질문입니다..

1

283

1

hook 질문드립니다.

1

348

1

section 2-hook 강의 질문

1

290

1

airflow tasks test 질문드립니다!

1

510

3

airflow docker compose 질문드립니다.

1

419

1

섹션1 apache airflow 설치하기 질문

1

463

1

Docker 에서 airflow 사용시 질문드립니다

1

958

2

airflow tasks test error

2

577

1

블로그에 글을 올려도 되나요?

0

486

2