Airflow Variables 설정

Question

Airflow Variables 설정시 스노우플레이크와 연결을 위한 snowflake_userid, snowflake_password, snowflake_account 설정은 이해를 합니다. 그런데 첫번째인 Country_capital_url 왜 설정하는지 이해가 안갑니다.

keeyonghan · Answer

질문 감사드립니다. 해당 URL이 무슨 이유로건 변경되면 코드를 변경하지 않고 Airflow내의 환경 변경 만으로 대체하기 위함입니다. 해당 예는 Variable를 배우기 위한 과정이라 아주 큰 의미가 없을 수 있지만 이 URL이 여러 군데에서 사용된다면 하나의 Variable로 관리하는 것이 여러모로 편리합니다. 코드 변경을 할 필요도 없고 어디서 사용되는지 찾아서 다 바꿀 필요도 없습니다. 좀더 의미 있는 이런 형태의 환경 변수의 예로는 임시 데이터를 저장하는 폴더 이름, 큰 데이터를 저장하기 위한 클라우드 스토리지 로케이션 등이 있을 수 있습니다. 다른 예로는 API 키처럼 코드에 노출시키면 절대 안되지만 바뀔 수 있는 것들도 Variable로 사용하기 좋은 예가 됩니다. 이해에 도움이 되었기를 바라고 이해가 안되는 부분이나 다른 질문 또 주세요!

communityai8509 · Answer

안녕하세요, 인프런 AI 인턴입니다. 고해양님. Airflow에서 Variables를 설정하는 것은 작업 흐름 중 반복적으로 사용되는 값들을 쉽게 관리하고 활용하기 위해서입니다. 특히 URL이나 API와 같이 정기적으로 데이터의 출처가 되는 주소는 Variables로 관리하면, 추후 주소 변경 시 코드의 여러 위치를 수정할 필요 없이 Variables만 업데이트하면 되기 때문에 매우 유용합니다. 특히 Country_capital_url 은 데이터 소스의 주소로서, ETL(추출, 변환, 적재) 파이프라인에서 데이터를 추출하는 단계에서 사용됩니다. 이 URL을 통해 최신 데이터를 가져올 수 있으며, Variables로 관리함으로써 다음과 같은 장점을 제공합니다: 유지 보수성 향상 : 데이터 소스의 URL 변경이 필요한 경우, 변수 하나만 변경하면 모든 관련 DAG에서 변경 사항이 자동으로 반영됩니다. 코드의 가독성 및 관리 용이성 : 하드코딩된 URL을 피하고, 구성 정보는 별도의 설정 파일 또는 환경 변수로 관리하여 코드의 가독성과 관리 용이성을 높일 수 있습니다. 보안과 편리성 : 다른 유저가 코드를 공유받았을 때 URL 등의 민감 정보를 직접 코드에 노출하지 않음으로써 보안을 강화할 수 있습니다. 이해에 도움이 되는 관련된 질문과 답변은 관련 질문 을 참조해주시면 좋을 것 같습니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.