안녕하세요, 최근에 airflow를 공부해보려고 해당 인강을 구매했는데,airflow3버전 인강 업데이트 예정이라는 공지를 보고, 대기 중에 있습니다.혹시 언제쯤 업데이트 될 예정인지 알 수 있을까요?아니면 우선 airflow2 버전으로라도 보는게 나을까요?

안녕하세요.「앞서 Airflow 예제를 개선해보자 (v3) - 실습 편」 강의 수강 중 궁금한 점이 있어 문의드립니다.DAG 실행 시 생성되는 tmp 파일이 제대로 생성되었는지 확인하고 싶어, CLI 환경이 아닌 웹 UI상에서 확인할 수 있는 방법이 있는지 알아보던 중 궁금한 점이 생겼습니다./opt/airflow 디렉토리 구조는 CLI 환경에서만 확인 가능한 것인지, 웹 UI상에서는 해당 경로의 파일 구조를 직접 확인할 수 없는 것인지 궁금합니다.추가로 확인이 가능한 부분이 있다면 현업에서는 어떻게 주로 확인하는지도 궁금합니다!

섹션3. Bash operator DAG 만들기 & DAG 디렉토리 셋팅안녕하세요, 에어플로우에 dags_bash_operator를 올리면 사진과 같이 몇 번을 시행해도 사진과 같이 실패합니다.sudo docker ps로 상태 확인해보면 별다른 문제가 없는 것 같은데, 문제의 원인이 무엇일까요?

강의 PDF 는 있는데 실습파일은 어디에 있나요?

에어플로우 설치 중 오류가 발생해 오랜시간동안 재시도해보다가 질문 드립니다.!아래의 오류들에 대한 원인이 무엇일지, 그리고 어떻게 해결해야 할지 궁금합니다.1. sudo docker compose up airflow-init해당 코드 실행 중 'The container is run as root user. For security, consider using a regular user account.' 라는 알림이 나오며, 사용자-airflow-init-1 이 아닌 airflow-init-1로 뜹니다. sudo docker compose up해당 코드 실행 중 'airflow-apiserver-1 is unhealthy'라는 오류가 발생합니다. (이 문제로 도커 초기화 및 재설치부터 고유한 user secret key 입력 등 여러번 시도했으나, 동일한 오류가 계속 반복됩니다.)참고로, sudo docker compose up 코드 실행 중 다음과 같은 오류들이 주로 보입니다.airflow-apiserver-1 | ValueError: The value api_auth/jwt_secret must be set!airflow-apiserver-1 | ERROR: Application startup failed. Exiting.airflow-apiserver-1 | ERROR: Traceback (most recent call last):airflow-apiserver-1 | INFO: Child process [3223] died   

선생님 안녕하세요8-2 강의에서 trigger dag run 이 제대로 작동하지 않아 질문드립니다. 강의에서 제공된 코드와 똑같이 작성을 해서 dag를 만들었는데, dags_trigger_dag_run_operator는 정상 작동을 하는데, dags_python_operator가 돌아가지 않습니다. dag들은 잘 연결되어있거든요? 아래 그림에서 triggered dag 클릭하면 dags_python_operator로 넘어갑니다.그런데 dags_python_operator에서는 실행 개수가 늘어나지 않고 그대로 입니다. 아래 그림에서 run id 에 manual 이라고 되어있는 것은 제가 이 dag를 직접 실행시켜서 그런 것이고, triggered 된 것이 아닙니다. 다만 dags_trigger_dag_run_operator 의 두번째 task에 이런 내용이 나오기는 합니다.혹시 어떤 parameter가 좀 제대로 설정이 안되어있는 것일까요? 제 코드는 수업자료와 동일합니다. 

postgres_loader 테스트시,from airflow.providers.postgres.operators.postgres import PostgresOperator에러가 지속되어,pache-airflow-providers-postgres 6.1.2에서apache-airflow-providers-postgres 5.7.0으로 version down으로 해결하였습니다. 6.x에서 package의 변경이 있는 건지, 저희 환경문제인지 문의 드립니다.(airflow version 2.10.5, Python 3.11.9, venv 환경으로 구성)

먼저 좋은 강의 감사합니다.Airflow Limitation 내용 중 Inefficient for Short Tasks 라는 말씀 하셨는데요. 실무에서 Datapipeline 을 구성할때 해당 Task 을 잘게 자르게 되는데, 혹시 경험적으로 기준 시간은 어느 정도 수행 시간 이상으로 Task를 나눠야 효과적일까요? 

[2025-04-07T14:51:04.313+0000] {taskinstance.py:3310} ERROR - Task failed with exceptionTraceback (most recent call last):  File "/opt/airflow/dags/yfinance_to_snowflake_fullrefresh.py", line 56, in load    raise e  File "/opt/airflow/dags/yfinance_to_snowflake_fullrefresh.py", line 41, in load    cur.execute(f"USE SCHEMA {schema};")  File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/cursor.py", line 1087, in execute    Error.errorhandler_wrapper(self.connection, self, error_class, errvalue)  File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/errors.py", line 284, in errorhandler_wrapper    handed_over = Error.hand_to_other_handler(                  ^^^^^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/errors.py", line 339, in hand_to_other_handler    cursor.errorhandler(connection, cursor, error_class, error_value)  File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/errors.py", line 215, in default_errorhandler    raise error_class(snowflake.connector.errors.ProgrammingError: 002043 (02000): 01bb881b-0000-c602-0000-cde100062082: SQL compilation error:Object does not exist, or operation cannot be performed. During handling of the above exception, another exception occurred: Traceback (most recent call last):  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/models/taskinstance.py", line 767, in executetask    result = executecallable(context=context, **execute_callable_kwargs)             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/models/taskinstance.py", line 733, in executecallable    return ExecutionCallableRunner(           ^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/utils/operator_helpers.py", line 252, in run    return self.func(*args, **kwargs)           ^^^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/models/baseoperator.py", line 406, in wrapper    return func(self, args, *kwargs)           ^^^^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/decorators/base.py", line 266, in execute    return_value = super().execute(context)                   ^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/models/baseoperator.py", line 406, in wrapper    return func(self, args, *kwargs)           ^^^^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/operators/python.py", line 238, in execute    return_value = self.execute_callable()                   ^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/operators/python.py", line 256, in execute_callable    return runner.run(*self.op_args, **self.op_kwargs)           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/utils/operator_helpers.py", line 252, in run    return self.func(*args, **kwargs)           ^^^^^^^^^^^^^^^^^^^^^^^^^^  File "/opt/airflow/dags/yfinance_to_snowflake_fullrefresh.py", line 62, in load    cur.execute(f"REMOVE {table_stage}/{file_name}")  File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/cursor.py", line 1087, in execute    Error.errorhandler_wrapper(self.connection, self, error_class, errvalue)  File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/errors.py", line 284, in errorhandler_wrapper    handed_over = Error.hand_to_other_handler(                  ^^^^^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/errors.py", line 339, in hand_to_other_handler    cursor.errorhandler(connection, cursor, error_class, error_value)  File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/errors.py", line 215, in default_errorhandler    raise error_class(snowflake.connector.errors.ProgrammingError: 090105 (22000): 01bb881b-0000-c619-0000-cde10006306e: Cannot perform STAGE RM. This session does not have a current database. Call 'USE DATABASE', or use a qualified name.Snowflake 세션에서 데이터베이스 또는 스키마가 제대로 설정되지 않아 발생한 문제로 보인다는데;;; 뭔가 실행에 이상이 있는건지;;;;

강사님 안녕하세요. airflow의 rest api를 이용하여 task를 재실행하는 코드를 개발하는 중 궁금한 점이 생겨서 문의드립니다. (참고로 실행환경은 회사pc입니다) ~/v1/dags/{dag_id}/dagRuns/{execution_date}/taskInstances/{task_id}/clear위와같이 특정 task의 실행 시간으로 실행하면 404에러가 뜨고 "detail": "The requested URL was not found on the server. If you entered the URL manually please check your spelling and try again.", "status": 404, "title": "Not Found", "type": "about:blank" REST-API문서를 살펴보니 clearTaskInstances가 있어서~/api/v1/dags/{dag_id}/clearTaskInstances이렇게 조회하면 405 에러가 뜹니다. "detail": "The method is not allowed for the requested URL.", "status": 405, "title": "Method Not Allowed", "type": "about:blank"  /clear이든 /clearTaskInstances 둘다 작동하지 않은데, 방법이 있을까요?두번째의 경우 서버에서 작동을 막는것일까요?

airflow dags list를 하면 yfinance_to_snowflake_fullrefresh.py 에서 no module named helpers 에러가 떴습니다. pip3 install helpers 를 통해 설치를 했는데도, 동일한 에러가 발생하고 있습니다. (python은 homebrew 통해 설치했고, homebrew 설치 시에 패키지 전역 설치가 안된다는 문제가 있었는데, 이는 해결해서 helpers Install은 완료 했습니다.)  

1. Data Drift 발생 시에 머신러닝 모델이 동작하지 않게 될 것이라는 것은 서비스는 돌아가지만, 머신러닝의 모델이 원래 기대했던 성능을 내지 못할 것을 의미하는 것일까요?예를 들어 추천 모델을 돌리고 있다면, 추천이 제대로 되지 않고 엉뚱한 것을 추천한다는 것을 의미하는 것인가요? 2. 주기적으로 데이터의 분포를 점검하는 필요가 있다면 어느 정도 주기여야 할까요? 3. 데이터의 분포가 어느 정도로 변하게 되면 이상 신호로 받아 들이게 되는 것인가요? 평균의 변화가 아닌 분산의 변화만으로도 이상 신호로 보아야 하는 것인지요? (뭔가 더 복잡하면 데이터의 성격에 따라 이러한 분포의 변화에 대해 반응해야 하는 수준이 다 다를 것으로도 느껴지기도 합니다.)

명령어:docker compose -f docker-compose.yaml up에러 메세지:ERROR! Maximum number of retries (20) reached.사용 환경windows 11 Home어떤 부분 때문에 계속 오류가 발생하는걸까요?

안녕하세요 강사님 airflow config를 변경하기 위해 시도해보았는데이렇게 expose를 false->true로 변경하여도 airflow web에서는 변경되지 않아서 혹시 어디가 잘못 되었는지 문의드립니다그리고 dag인식이 느린 것 같아 dag_dir_list 값을 100으로 변경하였는데 cpu만 괜찮다면 다른 변수들은 수정할 필요가 없을까요?

task 연결하기 강의에서t1 >> [t2, t3] >> t4t5 >> t4[t4, t7] >> t6 >> t8이렇게 작성하셨는데t1 >> [t2, t3] >> t4t5 >> [t4, t7] >> t6 >> t8이렇게 해도 될까요?순서도 그릴때 task는 무조건 한번씩만 실행되는건가요?t4[t4,t7] 이렇게 t4를 두번 작성해도 되는지 궁금합니다.

CountryCapital_v3.py 실습과정을 진행중에 갑자기 airflow UI 에서 DAGs 리스트들이 나오지 않는 현상을 겪고 있습니다. airflow dags list 명령어에 대한 결과이고, 도커에서 airflow 도 잘 띄우고 있습니다. 이전까지는 잘 되었는데 다음 사진과 같이 dag들이 갑자기 나오지 않고 있습니다.

안녕하세요 강사님혹시 vsc에서 airflow관련 함수들의 자동완성을 제공하는 익스텐션이 따로 있나요?아니면 코드를 원래 전체 작성해야 하나요?위 그림에 ti.xcom_pull의 경우 ti. 하고 자동완성을 하려고 봤더니 제공하는 함수가 없어서 질문드립니다근데 뒤에 task_ids는 자동완성이 되네요

안녕하세요 강사님airflow에서 코드를 실행할 때 잘못 작성된 경우나 에러가 있는 경우 디버깅을 해야되는데 일반 코드들 처럼 실행해서 잘못된 부분을 찾으려면 항상 우분투 서버에서만 확인이 가능한가요?일반 코드들처럼 vscode 자체에서 확인하기는 어려울까요?

안녕하세요 dag commit 이후 git pull 당겨오면 webserver 에 dag가 안보이는데 Docker 재시작하면 나타나더라구요 자동으로 반영되게 하는방법 없을까요?

섹션 3에 있는 Snowflake 환경 익히기 실습에서 nps.csv 파일은 어디에 있나요?환경 익히기 실습에서 진행하는 google colab 파일과 깃헙에 있는 country_capital_to snowflake.py 파일의 차이를 알고 싶습니다.  최종적으로 우리가 airflow를 사용하기 위해 스노우플레이크 내에 만들어져 있어야하는 스키마, 테이블 및 적재되어야하는 csv파일 정리해서 알려주시면 감사드리겠습니다.