inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

Airflow 마스터 클래스

DAG 자동화 문의

106

elin

작성한 질문수 4

0

안녕하세요!

dag 생성 중에 문의가 있어서 질문드립니다.

저희가 dag파일을 생성할 때, 스케줄로 DAG 실행 주기를 설정하는데요.

매번 공부하고 나서 docker compose down으로 컨테이너를 내리면, 실행 주기에 맞춰서 dag가 실행되지 않는 것 같아서요.

 

컴퓨터를 off한 상황에서도 postgres DB로 데이터가 적재되도록 만든 dag가 작성한 스케줄에 맞춰서 실행되려면 어떻게 해야하나요?

 

감사합니다!

python 데이터-엔지니어링 airflow

답변 2

0

김현진

elin님 실습 환경이 컴퓨터 WSL이죠?

그러면 당연하게도 컴퓨터를 끄면 AIRFLOW도 내려갑니다.

아쉽게도 AIRFLOW를 계속 돌리려면 컴퓨터를 켜놓으야 합니다.

 

그리고 Airflow를 내렸다가 올리면 그동안 수행되지 않았던 스케줄을 수행할지 말지의 여부는 DAG의 catchup 변수가 결정합니다.

실습에서는 대부분 catchup 변수를 false로 설정했기 때문에 누락됐던 스케줄을 실행하지 않고 건너띕니다.

 

참고하세요 ^^

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. elin님!

DAG가 작성한 스케줄에 맞춰서 실행되지 않는 이유는 여러 가지 요인이 있을 수 있습니다. 특히 컴퓨터를 종료하거나 Docker 컨테이너를 내린 경우에는 Airflow가 중지되면서 DAG 스케줄이 실행되지 않습니다. 이 문제를 해결하려면 다음과 같이 접근해보시기를 권장합니다:

  1. 서버 환경으로의 전환: DAG가 컴퓨터가 꺼진 상태에서도 동작하게 하려면, 로컬에서 실행하지 않고 적절한 서버 환경에 배포하는 것이 필요합니다. 예를 들어, 클라우드 서비스를 활용하여 Airflow를 지속적으로 운영하거나 개인 서버를 구축할 수 있습니다.

  2. Docker Compose 관리: 장기적으로 서비스를 운영하려면 Docker Compose의 실행 상태를 지속적으로 유지해야 합니다. 이를 위해 서버 환경 등을 고려하여 설정을 해두시는 것이 좋습니다.

  3. Airflow의 Start Dates와 Intervals 설정: DAG의 start_dateschedule_interval 설정을 정확히 해야 합니다. 스케줄이 빠른 순서로 다음 날부터 실행되도록 되어 있는지 확인합니다.

관련 질문을 통해 교수님의 추가 조언을 들을 수 있을 것 같아 몇 가지 유사한 질문을 추천드립니다:

  • “dag 스케줄링 관련”: 이 질문에서 Airflow 스케줄 문제와 관련된 설정 오류에 대한 논의가 진행되었습니다. DAG가 예상대로 실행되지 않는 문제와 관련된 다양한 요인을 탐색할 수 있습니다.

  • “dags 경로 설정 질문입니다.”: 강의 중 dags 디렉토리 설정 관련하여 여러 유용한 팁과 무료 설정에 대한 정보를 잘 활용해보실 수 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

pykrx 회원제 전환으로 인한 실습 불가

0

114

2

수료증 발급

0

84

3

에러 발생 관련 질문드립니다.

0

83

2

vscode 작업화면에 오류가 발생하지 않습니다.

0

69

2

plugins 폴더 생성

0

76

2

WSL에서 git push 가 안되요 ㅠ

0

115

2

chatGPT&Airflow로 블로그 자동 포스팅하기 는 Deprecated 가 필요합니다.

0

67

2

github에 회원가입이 안되는데 원인이 뭔지 모르겠어요 ㅠ

0

738

2

설치중인데 venv를 꼭 써야할까요?

0

126

2

설치 버전 관련 질문입니다.

0

68

1

우분투 버전 다운받아야하는데 어떤걸로 설치해야할까요?

0

62

1

DAG 만들기 중 airflow 패키지 로드 에러

0

106

2

3.0에서도 수업노트가 성립하는지 확인 부탁드립니다!

0

95

3

task_id 사용법이 뭔가 바뀐 것 같습니다.

0

76

3

email operator 오류 관련

0

66

2

plugins 폴더 관련

0

100

2

bash operator 관련 문의입니다

0

78

3

스케쥴러 - DAG 파싱 부하 줄이는 과정 질문

0

79

2

Dags refresh 주기 관련 질문

0

125

2

wsl 관련 질문입니다.!

0

75

2

macOS에서 docker 설치

0

94

2

템플릿 변수에 대한 오류

0

61

2

custom_image 디렉토리 문의드립니다.

0

54

2

ETL 인터뷰 관련 문의

0

103

2