inflearn logo
강의

Course

Instructor

Apache Airflow with Silicon Valley Engineers

Creating the first DAG

my_first_dag.py 파일 질문 입니다

399

gogo91rla

7 asked

1

Standalone 환경을 처음 세팅하게 되면 dags 디렉토리가 별도로 없는데 사용자가 직접 만들어주면 되는지 질문드립니다.

 

그리고 standalone 으로 airflow 서버를 작동시킨 이후 다시 exit 할 경우 자꾸 localhost에 서버가 남아있어 재 실행이 안되서 컴퓨터 리붓을 해야하는데 혹시 다른 방법이 있을까요?

아래와 같은 방식으로 PID 서버를 kill 하지만 그래도 안될 경우가 많은 것 같습니다.

(수정) 아래 방법은 작동하는 것 같네요

ps -ef | grep airflow

sudo kill -9 [PID port]

python 빅데이터 데이터-엔지니어링 airflow

Answer 1

0

altoformula

안녕하세요 gogo91rla님,

일단 첫번째 질문인 dags은 직접 만들어도 됩니다. 기본적으로 Airflow는 그 디렉토리를 기대하고 있는데, 자세한 건 $AIRFLOW_HOME의 상대적인 디렉토리여야 한다는 점입니다(자세한 점은 https://airflow.apache.org/docs/apache-airflow/stable/howto/set-config.html 를 참조하세요)

두번째로, 강의를 듣다 보시다보면, 다커를 사용해서 Airflow를 바로 시작하는 부분이 있으니, 그때부터는 사용하기 편하실 겁니다.

 

6-6

0

8

1

작업형 1 유형 부분

0

11

1

수강평 이벤트

0

17

2

apache airflow 설치하기 질문

0

85

2

postgres_loader DAG 에러

1

52

3

Queue 강의를 듣고 난 후에 대한 질의

0

51

1

공식 compose 내 postgres db 설치시

0

75

2

postgres_loader의 apache-airflow-providers-postgres 버전 호환성

1

184

2

Airflow Limitation 강의에 대한 질문

1

92

1

airflow와 postgres간의 connection 오류

1

1146

4

from airflow.sensors.sql import SqlSensor에 대해 질문 있습니다.

1

254

1

메타데이터 의미

1

367

2

병렬처리 질문드립니다.

1

508

2

connection 정보 이전 방법 질문드립니다.

1

278

1

PostgresOperator로 대량의 데이터 업로드 방법 질문드립니다.

1

395

1

강의 할인 프로모션 질문입니다..

1

282

1

hook 질문드립니다.

1

347

1

section 2-hook 강의 질문

1

289

1

airflow tasks test 질문드립니다!

1

509

3

airflow docker compose 질문드립니다.

1

419

1

섹션1 apache airflow 설치하기 질문

1

462

1

Docker 에서 airflow 사용시 질문드립니다

1

956

2

airflow tasks test error

2

577

1

블로그에 글을 올려도 되나요?

0

486

2