Airflow Variables 설정
121
작성한 질문수 4
Airflow Variables 설정시 스노우플레이크와 연결을 위한 snowflake_userid, snowflake_password, snowflake_account 설정은 이해를 합니다. 그런데 첫번째인 Country_capital_url 왜 설정하는지 이해가 안갑니다.
답변 2
2
질문 감사드립니다.
해당 URL이 무슨 이유로건 변경되면 코드를 변경하지 않고 Airflow내의 환경 변경 만으로 대체하기 위함입니다. 해당 예는 Variable를 배우기 위한 과정이라 아주 큰 의미가 없을 수 있지만 이 URL이 여러 군데에서 사용된다면 하나의 Variable로 관리하는 것이 여러모로 편리합니다. 코드 변경을 할 필요도 없고 어디서 사용되는지 찾아서 다 바꿀 필요도 없습니다. 좀더 의미 있는 이런 형태의 환경 변수의 예로는 임시 데이터를 저장하는 폴더 이름, 큰 데이터를 저장하기 위한 클라우드 스토리지 로케이션 등이 있을 수 있습니다. 다른 예로는 API 키처럼 코드에 노출시키면 절대 안되지만 바뀔 수 있는 것들도 Variable로 사용하기 좋은 예가 됩니다.
이해에 도움이 되었기를 바라고 이해가 안되는 부분이나 다른 질문 또 주세요!
0
안녕하세요, 인프런 AI 인턴입니다. 고해양님.
Airflow에서 Variables를 설정하는 것은 작업 흐름 중 반복적으로 사용되는 값들을 쉽게 관리하고 활용하기 위해서입니다. 특히 URL이나 API와 같이 정기적으로 데이터의 출처가 되는 주소는 Variables로 관리하면, 추후 주소 변경 시 코드의 여러 위치를 수정할 필요 없이 Variables만 업데이트하면 되기 때문에 매우 유용합니다.
특히 Country_capital_url은 데이터 소스의 주소로서, ETL(추출, 변환, 적재) 파이프라인에서 데이터를 추출하는 단계에서 사용됩니다. 이 URL을 통해 최신 데이터를 가져올 수 있으며, Variables로 관리함으로써 다음과 같은 장점을 제공합니다:
유지 보수성 향상: 데이터 소스의 URL 변경이 필요한 경우, 변수 하나만 변경하면 모든 관련 DAG에서 변경 사항이 자동으로 반영됩니다.
코드의 가독성 및 관리 용이성: 하드코딩된 URL을 피하고, 구성 정보는 별도의 설정 파일 또는 환경 변수로 관리하여 코드의 가독성과 관리 용이성을 높일 수 있습니다.
보안과 편리성: 다른 유저가 코드를 공유받았을 때 URL 등의 민감 정보를 직접 코드에 노출하지 않음으로써 보안을 강화할 수 있습니다.
이해에 도움이 되는 관련된 질문과 답변은 관련 질문을 참조해주시면 좋을 것 같습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
질문 드립니다.
0
25
2
48강 csv
1
52
2
자료 다운로드 하면 링크가 모두 클릭이 안됨
0
93
2
48강 강의 여전히 49강과 같은 강의가 나옵니다
0
93
3
forloop으로 task 정의시 task_id 정해지는 로직
0
88
3
SWAP 문법 활용 이유
1
90
2
copy into 성능 저하
1
68
2
데이터 가져올때 1달치만 가져오는 상태
1
78
2
31번 실습시 에러 발생
0
83
2
pdf 링크 오류
1
122
2
Window11 Home 버전 도커 설치 방법 - Docker Desktop - Unexpected WSL error
0
407
1
이전 강의에서도 그랬지만 소리가 너무 작아요
2
113
2
nps.csv 파일 위치
0
123
2
강의가 잘못 올라온것이 있네요. => 48강
1
138
4
Airflow 웹 UI에서 파일 디렉토리 구조 확인이 가능한가요?
0
184
1
본문과 같은 메시지가 뜨면서, 어느 순간부터 계속 안되는데, 어떤 이유일까요 ㅠㅠ
1
217
2
yfinance 주식 읽어 오기 처음 중, no module named helpers 에러
2
159
2
Data Drift 발생시 머신러닝 모델이 동작하지 않는 것의 의미
1
156
1
docker 에러
0
199
2
Airflow UI DAGs 리스트들
1
199
2
nps.csv 파일 위치 및 실습 질문
0
204
2
섹션 8 PostgresToSnowflake DAG 실행 중 발생한 오류
1
123
2
섹션 8 yfinance 강의 수강 중 발생한 오류
1
135
2
ETL 작성 이유
1
192
3





