Airflow Variables 설정

질문 감사드립니다.해당 URL이 무슨 이유로건 변경되면 코드를 변경하지 않고 Airflow내의 환경 변경 만으로 대체하기 위함입니다. 해당 예는 Variable를 배우기 위한 과정이라 아주 큰 의미가 없을 수 있지만 이 URL이 여러 군데에서 사용된다면 하나의 Variable로 관리하는 것이 여러모로 편리합니다. 코드 변경을 할 필요도 없고 어디서 사용되는지 찾아서 다 바꿀 필요도 없습니다. 좀더 의미 있는 이런 형태의 환경 변수의 예로는 임시 데이터를 저장하는 폴더 이름, 큰 데이터를 저장하기 위한 클라우드 스토리지 로케이션 등이 있을 수 있습니다. 다른 예로는 API 키처럼 코드에 노출시키면 절대 안되지만 바뀔 수 있는 것들도 Variable로 사용하기 좋은 예가 됩니다. 이해에 도움이 되었기를 바라고 이해가 안되는 부분이나 다른 질문 또 주세요!

섹션 8 PostgresToSnowflake DAG 실행 중 발생한 오류

아이고 감사합니다. 다 체크했다고 생각했어도 마지막에 코드를 고치면서 빼먹은 부분이 있었네요. 맞게 수정하셨고 github의 코드도 수정했습니다. 계속 질문주세요!

섹션 8 yfinance 강의 수강 중 발생한 오류

굉장히 진도가 빠르시네요. 문제를 알려주셔서 감사드립니다. extract(symbol) >> load(file_path, symbol, schema, table)위 코드의 원래 의도는 file_path가 없이 아래처럼 호출하는 거였는데 GitHub에 그걸 제가 최종 반영하지 못했습니다.extract(symbol) >> load(symbol, schema, table)원래 의도는 file_path를 주고 받지 말고 extract와 load 함수 각각이 동일한 방법으로 file_path를 계산해서 쓰려는 거였습니다 (airflow 커맨드 실행으로 태스크별 실행하면서 디버깅할 때 편의성을 위해 tasks들간의 의존도를 최대한 줄인다는 측면에서). 일단 GitHub에서는 이 방법으로 위 코드에서 load 함수 호출시 file_path를 삭제했습니다.하지만 하신 것처럼 수정하셔도 문제 없습니다. 코드 간의 file_path의 관계가 더 명확히 보인다는 점이 이 방식의 장점이고 단점은 airflow tasks test YfinanceToSnowflake_fullrefresh load 형태로 커맨드라인에서 테스트를 못한다는 것입니다. 강의에서 이 부분을 설명하려 했는데 명확했는지는 모르겠습니다. 아주 잘 하셨습니다! 다시 한번 알려주셔서 감사드리고 GitHub 코드는 변경했습니다. 또 다른 질문이나 문제가 생기면 포스팅해주세요!

ETL 작성 이유

다시 질문의 제목을 보니 "ETL의 작성 이유"라고 되어서 혹시 이번 과정의 앞단 설명 부분을 건너뛰고 바로 코드로 넘어온 것은 아닌지 걱정이 되어서 (간혹 마음이 급하다보면 그러는 경우들이 과거에 있었습니다) 첨언을 해보자면 데이터 인프라를 구축을 해서 데이터 분석과 머신 러닝 모델 빌딩 등에 필요한 데이터를 계속해서 최신 정보로 데이터 웨어하우스에 복제하는 과정이 필요하고 그게 데이터 파이프라인 중의 하나인 ETL입니다. 필요할 때마다 매뉴얼하게 해서는 운영이 안되기에 코드로 자동화하는 것이 필요하고 그 예를 먼저 아주 간단하게 나라, 수도 CSV 파일로 시작해본 거라고 이해하시면 됩니다. 안 그러셨으리라 믿지만 혹시라도 (혹은 마음이 급한 다른 분들을 위해서) 앞단 건너 뛰고 바로 코딩으로 넘어온 거라면 꼭 다시 돌아가면 데이터 인프라의 개념과 필요 이유부터 다시 이해하도록 하세요. 느리게 천천히 가는게 결국 더 빠르게 가는 더라구요.

ETL 작성 이유

좋은 질문 감사드립니다. 궁극적인 목표는 "자동화"입니다. 시작은 Google Colab 상에서 파이썬으로 코드를 만들어서 처리하고 나중에 이를 Airflow에 맞게 수정한 다음에 주기적으로 실행해보게 됩니다 (하루에 한번). 아무리 매뉴얼하게 쉽게 할 수 있는 작업이라 해도 매일 내가 직접 실행해야 한다는 조건이 붙는다면 다른 차원의 문제가 되겠죠. 처음 코딩 대상이 된 country capital CSV 파일의 경우에는 이해하기 쉬운 케이스라 선택했을 뿐입니다. 나중에 주가 등을 읽어오는 예 등을 실습해보면서 좀더 전처리가 필요해지고 정말 매일매일 혹은 매시간 주가를 읽어오게 자동화해야 되기 때문에 코딩을 통한 자동화가 필수적이 됩니다.요약하면 Airflow 프레임웍위에서 코딩을 통한 자동화가 궁극적인 목표인데 시작은 아주 단순하게 Google Colab 상에서 하면서 기본을 배워나가는 거라 보면 됩니다. 다시 한번 좋은 질문 감사드리고 더 궁금한 부분 있으면 꼭 알려주세요!

NPS 데이터 셋 다운로드에 이상이 있습니다.

감사합니다. 인지하지 못하고 있었네요. 방금 다시 업로드했습니다. 시도해보시고 혹시 문제가 지속되면 알려주세요!

강의노트는 따로 제공되지 않나요?

질문 노티 이메일이 스팸박스로 들어간 걸 이제 확인했습니다. 전에 다른 강의에서 자료를 업로드했더니 그걸 고쳐서 강의를 하는 분을 발견해서 (다른 분으로부터 연락받고) 이번에는 올리지 않았습니다만 PDF 버전을 내일 올리고 알려드리도록 하겠습니다. 다른 질문도 혹시 언제든지 환영합니다.

DuckDB API 사용시 Connection Error가 발생합니다.

확인해보고 다시 답변드릴게요! 감사합니다.

만약 데이터 웨어하우스에서 분석한 내용을 다시 고객에게 서빙하고 싶다면 어떻게 하나요?

아주 좋은 질문입니다. 제가 지금 Airflow로 만드는 데이터 파이프라인이라는 강의를 만들고 있는데 거기서 다루는 개념 중의 하나가 Reverse ETL이라는 겁니다. 보통 ETL이라고 하면 데이터 소스에서 데이터를 추출,변환후 데이터 웨어하우스에 테이블의 형태로 로딩을 하게 되는데 그와 정반대로 가는 형태의 데이터 파이프라인을 Reverse ETL이라고 부릅니다. 그게 바로 말씀해주신 형태로 데이터 웨어하우스에서 작업한 내용을 프로덕션 DB (MySQL이나 Postgres) 등에 테이블로 저장하거나 NoSQL/Cache등에 저장하는 형태로 움직이는 거고 유데미 등에서 일할 때 실제 사용했던 유스 케이스가 있었습니다.혹시라도 더 궁금한 부분이 있다면 편하게 알려주세요.

3가지의 머신 러닝 타입 살펴보기 챕터가 재생되지 않습니다.

말씀해주신 것처럼 해당 파일이 사라졌다는 에러가 났네요. 문제없던 영상인데 인프런측에도 문의해두려 하고 일단 제가 갖고 있던 백업본으로 다시 업로드했습니다. 확인 부탁드리고 리포트 감사드려요.