inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

실리콘밸리 데이터 리더가 알려주는 Airflow 기초

Colab 예제를 Airflow로 포팅하기 - 실습

Airflow Variables 설정

121

고해양

작성한 질문수 4

1

Airflow Variables 설정시 스노우플레이크와 연결을 위한 snowflake_userid, snowflake_password, snowflake_account 설정은 이해를 합니다. 그런데 첫번째인 Country_capital_url 왜 설정하는지 이해가 안갑니다.

python sql airflow snowflake

답변 2

2

한기용

질문 감사드립니다.

해당 URL이 무슨 이유로건 변경되면 코드를 변경하지 않고 Airflow내의 환경 변경 만으로 대체하기 위함입니다. 해당 예는 Variable를 배우기 위한 과정이라 아주 큰 의미가 없을 수 있지만 이 URL이 여러 군데에서 사용된다면 하나의 Variable로 관리하는 것이 여러모로 편리합니다. 코드 변경을 할 필요도 없고 어디서 사용되는지 찾아서 다 바꿀 필요도 없습니다. 좀더 의미 있는 이런 형태의 환경 변수의 예로는 임시 데이터를 저장하는 폴더 이름, 큰 데이터를 저장하기 위한 클라우드 스토리지 로케이션 등이 있을 수 있습니다. 다른 예로는 API 키처럼 코드에 노출시키면 절대 안되지만 바뀔 수 있는 것들도 Variable로 사용하기 좋은 예가 됩니다.

이해에 도움이 되었기를 바라고 이해가 안되는 부분이나 다른 질문 또 주세요!

 

0

고해양

항상 빠른 답변 감사합니다!!

 

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 고해양님.

Airflow에서 Variables를 설정하는 것은 작업 흐름 중 반복적으로 사용되는 값들을 쉽게 관리하고 활용하기 위해서입니다. 특히 URL이나 API와 같이 정기적으로 데이터의 출처가 되는 주소는 Variables로 관리하면, 추후 주소 변경 시 코드의 여러 위치를 수정할 필요 없이 Variables만 업데이트하면 되기 때문에 매우 유용합니다.

특히 Country_capital_url은 데이터 소스의 주소로서, ETL(추출, 변환, 적재) 파이프라인에서 데이터를 추출하는 단계에서 사용됩니다. 이 URL을 통해 최신 데이터를 가져올 수 있으며, Variables로 관리함으로써 다음과 같은 장점을 제공합니다:

  1. 유지 보수성 향상: 데이터 소스의 URL 변경이 필요한 경우, 변수 하나만 변경하면 모든 관련 DAG에서 변경 사항이 자동으로 반영됩니다.

  2. 코드의 가독성 및 관리 용이성: 하드코딩된 URL을 피하고, 구성 정보는 별도의 설정 파일 또는 환경 변수로 관리하여 코드의 가독성과 관리 용이성을 높일 수 있습니다.

  3. 보안과 편리성: 다른 유저가 코드를 공유받았을 때 URL 등의 민감 정보를 직접 코드에 노출하지 않음으로써 보안을 강화할 수 있습니다.

이해에 도움이 되는 관련된 질문과 답변은 관련 질문을 참조해주시면 좋을 것 같습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

질문 드립니다.

0

25

2

48강 csv

1

52

2

자료 다운로드 하면 링크가 모두 클릭이 안됨

0

93

2

48강 강의 여전히 49강과 같은 강의가 나옵니다

0

93

3

forloop으로 task 정의시 task_id 정해지는 로직

0

88

3

SWAP 문법 활용 이유

1

90

2

copy into 성능 저하

1

68

2

데이터 가져올때 1달치만 가져오는 상태

1

78

2

31번 실습시 에러 발생

0

83

2

pdf 링크 오류

1

122

2

Window11 Home 버전 도커 설치 방법 - Docker Desktop - Unexpected WSL error

0

407

1

이전 강의에서도 그랬지만 소리가 너무 작아요

2

113

2

nps.csv 파일 위치

0

123

2

강의가 잘못 올라온것이 있네요. => 48강

1

138

4

Airflow 웹 UI에서 파일 디렉토리 구조 확인이 가능한가요?

0

184

1

본문과 같은 메시지가 뜨면서, 어느 순간부터 계속 안되는데, 어떤 이유일까요 ㅠㅠ

1

217

2

yfinance 주식 읽어 오기 처음 중, no module named helpers 에러

2

159

2

Data Drift 발생시 머신러닝 모델이 동작하지 않는 것의 의미

1

156

1

docker 에러

0

199

2

Airflow UI DAGs 리스트들

1

199

2

nps.csv 파일 위치 및 실습 질문

0

204

2

섹션 8 PostgresToSnowflake DAG 실행 중 발생한 오류

1

123

2

섹션 8 yfinance 강의 수강 중 발생한 오류

1

135

2

ETL 작성 이유

1

192

3