inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

Airflow 마스터 클래스

Python Operator에서 Xcom 사용

"Python Operator에서 Xcom 사용" 강의 질문

269

jihoon

작성한 질문수 4

0

안녕하세요.

강의 잘 듣고 있습니다.

 

"Python Operator에서 Xcom 사용" 강의에서 task flow가

python_xcom_push_by_return = xcom_push_result()
xcom_pull_2(python_xcom_push_by_return)
python_xcom_push_by_return >> xcom_pull_1()

이렇게 되고, 그래프가

 

python_xcom_push_by_return -> xcom_pull_2

python_xcom_push_by_return -> xcom_pull_1

 

이렇게 그려지는데,

 

이 경우 처리도 병렬적으로 되나요?

아니면 그래프만 저렇게 나오고 실제 동작은

파이썬 동작하는 것처럼 윗줄이 먼저 실행되어서 실제로는

python_xcom_push_by_return -> xcom_pull_2 -> xcom_pull_1

이렇게 실행이 되나요??

 

 

python 데이터-엔지니어링 airflow

답변 1

1

김현진

안녕하세요 jihoon 님

오랜만이네요 ^^

 

답변부터 드리자면 병렬로 실행됩니다. 혹시 실행할 때 너무 빨리 지나가서 잘 못봤다면

xcom_push_result() 함수 부분에 아래처럼 sleep 을 이용해서 잠깐 멈춰보세요.

import time
time.sleep(5)  

그러면 xcom_push_result 가 끝나고 뒤에 있는 두 개의 Task가 동시에 실행되는 걸 볼 수 있을겁니다.

 

pykrx 회원제 전환으로 인한 실습 불가

0

109

2

수료증 발급

0

81

3

에러 발생 관련 질문드립니다.

0

82

2

vscode 작업화면에 오류가 발생하지 않습니다.

0

69

2

plugins 폴더 생성

0

74

2

WSL에서 git push 가 안되요 ㅠ

0

112

2

chatGPT&Airflow로 블로그 자동 포스팅하기 는 Deprecated 가 필요합니다.

0

66

2

github에 회원가입이 안되는데 원인이 뭔지 모르겠어요 ㅠ

0

722

2

설치중인데 venv를 꼭 써야할까요?

0

124

2

설치 버전 관련 질문입니다.

0

68

1

우분투 버전 다운받아야하는데 어떤걸로 설치해야할까요?

0

62

1

DAG 만들기 중 airflow 패키지 로드 에러

0

106

2

3.0에서도 수업노트가 성립하는지 확인 부탁드립니다!

0

95

3

task_id 사용법이 뭔가 바뀐 것 같습니다.

0

76

3

email operator 오류 관련

0

66

2

plugins 폴더 관련

0

96

2

bash operator 관련 문의입니다

0

78

3

스케쥴러 - DAG 파싱 부하 줄이는 과정 질문

0

79

2

Dags refresh 주기 관련 질문

0

123

2

wsl 관련 질문입니다.!

0

73

2

macOS에서 docker 설치

0

93

2

템플릿 변수에 대한 오류

0

61

2

custom_image 디렉토리 문의드립니다.

0

54

2

ETL 인터뷰 관련 문의

0

103

2