안녕하세요wsl 에서 user/password 입력을 계속하라고 하는데,password를 토큰으로 입력해야하다보니 너무 힘들어요.copy & paste 가 안되더라구요 ㅠㅠ어떻게 미리 등록해놓고 안물어보게 할수는 없나요? 

Broken DAG: [/opt/airflow/dags/dags_bash_operator.py] Traceback (most recent call last): File "<frozen importlib._bootstrap_external>", line 1063, in source_to_code File "<frozen importlib._bootstrap>", line 488, in callwith_frames_removed File "/opt/airflow/dags/dags_bash_operator.py", line 24 bash_t1 >> bash_t2 ^ IndentationError: unindent does not match any outer indentation level 이런 에러가 났는데요소스에서 확인해보니from airflow.operators.bash import BashOperator ㅇairflow.operators.bash 에 ~~~~~~ 이렇게 되어 있네요. 강사님 따라 그대로 했는데 에러가 왜 난걸까요?

안녕하세요. 'Snowflake 환경 익히기' 강의에서 nps.csv 파일 다운로드 하라고 돼 있는데, pdf 파일만 내려받아집니다.비슷한 질문이 있어서 커리큘럼에 있는 자료 내려받기를 해도 마찬가지 입니다. 확인 부탁드립니다.감사합니다.

에어플로워 라이브러리 로컬컴에 설치했고 코드에서 import 하였습니다.실제 dag도 airflow에서 정상 동작하는데요.vscode에서만 소스에 문제 있는것처럼 빨갛게 밑줄이 갑니다.불편하지는 않은데 실제 에러랑 구분이 안되서 해결하고 싶어서요.뭐가 문제인지 예상되는게 있으실까요?  

안녕하세요! 먼저 수업 잘 듣고 있습니다 :) 현재 section 6까지 완강하였습니다.32강 varible 실습 코드부터 airflow에 올라오지 않는 것 같습니다. git push와 git pull 완료 후, wsl에 dags 폴더 내에 해당 코드들이 있는 건 확인했습니다.하루에 정해진 작업량이 있어서 그런건지 여쭤보고 싶습니다.compose down 시키고 다시 airflow 올려도 똑같이 현시가 안되는 상황입니다....ㅠ

48. Postgres 테이블 읽어오기 강의가 49. Postgres 테이블 읽어오기 실습 강의와 같습니다.즉 48 에서는 이론강의 부분인데 실습부분 입니다. 48강의 이론 부분으로 변경이 필요합니다.

몇시간째 이유를 모르겠네요. 아래와 같은 에러로 airflow에서 postresql로 접속이 안되는것 같습니다.File "/opt/airflow/dags/dags_python_with_postgres.py", line 17, in insrt_postgreswith closing(psycopg2.connect(host=ip, dbname=dbname, user=user, password=passwd, port=int(port))) as conn:^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^File "/home/airflow/.local/lib/python3.12/site-packages/psycopg2/__init__.py", line 122, in connectconn = connect(dsn, connectionfactory=connection_factory, **kwasync)^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^psycopg2.OperationalError: connection to server at "172.28.0.3", port 5432 failed: Connection timed outIs the server running on that host and accepting TCP/IP connections? from airflow import DAG import pendulum from airflow.operators.python import PythonOperator with DAG( dag_id='dags_python_with_postgres', start_date=pendulum.datetime(2023,4,1, tz='Asia/Seoul'), schedule=None, catchup=False ) as dag: def insrt_postgres(ip, port, dbname, user, passwd, **kwargs): import psycopg2 from contextlib import closing with closing(psycopg2.connect(host=ip, dbname=dbname, user=user, password=passwd, port=int(port))) as conn: with closing(conn.cursor()) as cursor: dag_id = kwargs.get('ti').dag_id task_id = kwargs.get('ti').task_id run_id = kwargs.get('ti').run_id msg = 'insrt 수행' sql = 'insert into py_opr_drct_insrt values (%s,%s,%s,%s);' cursor.execute(sql,(dag_id,task_id,run_id,msg)) conn.commit() insrt_postgres = PythonOperator( task_id='insrt_postgres', python_callable=insrt_postgres, op_args=['172.28.0.3', '5432', 'emuce', 'emuce', 'emuce'] ) insrt_postgres 

안녕하세요, 최근에 airflow를 공부해보려고 해당 인강을 구매했는데,airflow3버전 인강 업데이트 예정이라는 공지를 보고, 대기 중에 있습니다.혹시 언제쯤 업데이트 될 예정인지 알 수 있을까요?아니면 우선 airflow2 버전으로라도 보는게 나을까요?

안녕하세요.「앞서 Airflow 예제를 개선해보자 (v3) - 실습 편」 강의 수강 중 궁금한 점이 있어 문의드립니다.DAG 실행 시 생성되는 tmp 파일이 제대로 생성되었는지 확인하고 싶어, CLI 환경이 아닌 웹 UI상에서 확인할 수 있는 방법이 있는지 알아보던 중 궁금한 점이 생겼습니다./opt/airflow 디렉토리 구조는 CLI 환경에서만 확인 가능한 것인지, 웹 UI상에서는 해당 경로의 파일 구조를 직접 확인할 수 없는 것인지 궁금합니다.추가로 확인이 가능한 부분이 있다면 현업에서는 어떻게 주로 확인하는지도 궁금합니다!

섹션3. Bash operator DAG 만들기 & DAG 디렉토리 셋팅안녕하세요, 에어플로우에 dags_bash_operator를 올리면 사진과 같이 몇 번을 시행해도 사진과 같이 실패합니다.sudo docker ps로 상태 확인해보면 별다른 문제가 없는 것 같은데, 문제의 원인이 무엇일까요?

강의 PDF 는 있는데 실습파일은 어디에 있나요?

에어플로우 설치 중 오류가 발생해 오랜시간동안 재시도해보다가 질문 드립니다.!아래의 오류들에 대한 원인이 무엇일지, 그리고 어떻게 해결해야 할지 궁금합니다.1. sudo docker compose up airflow-init해당 코드 실행 중 'The container is run as root user. For security, consider using a regular user account.' 라는 알림이 나오며, 사용자-airflow-init-1 이 아닌 airflow-init-1로 뜹니다. sudo docker compose up해당 코드 실행 중 'airflow-apiserver-1 is unhealthy'라는 오류가 발생합니다. (이 문제로 도커 초기화 및 재설치부터 고유한 user secret key 입력 등 여러번 시도했으나, 동일한 오류가 계속 반복됩니다.)참고로, sudo docker compose up 코드 실행 중 다음과 같은 오류들이 주로 보입니다.airflow-apiserver-1 | ValueError: The value api_auth/jwt_secret must be set!airflow-apiserver-1 | ERROR: Application startup failed. Exiting.airflow-apiserver-1 | ERROR: Traceback (most recent call last):airflow-apiserver-1 | INFO: Child process [3223] died   

선생님 안녕하세요8-2 강의에서 trigger dag run 이 제대로 작동하지 않아 질문드립니다. 강의에서 제공된 코드와 똑같이 작성을 해서 dag를 만들었는데, dags_trigger_dag_run_operator는 정상 작동을 하는데, dags_python_operator가 돌아가지 않습니다. dag들은 잘 연결되어있거든요? 아래 그림에서 triggered dag 클릭하면 dags_python_operator로 넘어갑니다.그런데 dags_python_operator에서는 실행 개수가 늘어나지 않고 그대로 입니다. 아래 그림에서 run id 에 manual 이라고 되어있는 것은 제가 이 dag를 직접 실행시켜서 그런 것이고, triggered 된 것이 아닙니다. 다만 dags_trigger_dag_run_operator 의 두번째 task에 이런 내용이 나오기는 합니다.혹시 어떤 parameter가 좀 제대로 설정이 안되어있는 것일까요? 제 코드는 수업자료와 동일합니다. 

postgres_loader 테스트시,from airflow.providers.postgres.operators.postgres import PostgresOperator에러가 지속되어,pache-airflow-providers-postgres 6.1.2에서apache-airflow-providers-postgres 5.7.0으로 version down으로 해결하였습니다. 6.x에서 package의 변경이 있는 건지, 저희 환경문제인지 문의 드립니다.(airflow version 2.10.5, Python 3.11.9, venv 환경으로 구성)

먼저 좋은 강의 감사합니다.Airflow Limitation 내용 중 Inefficient for Short Tasks 라는 말씀 하셨는데요. 실무에서 Datapipeline 을 구성할때 해당 Task 을 잘게 자르게 되는데, 혹시 경험적으로 기준 시간은 어느 정도 수행 시간 이상으로 Task를 나눠야 효과적일까요? 

[2025-04-07T14:51:04.313+0000] {taskinstance.py:3310} ERROR - Task failed with exceptionTraceback (most recent call last):  File "/opt/airflow/dags/yfinance_to_snowflake_fullrefresh.py", line 56, in load    raise e  File "/opt/airflow/dags/yfinance_to_snowflake_fullrefresh.py", line 41, in load    cur.execute(f"USE SCHEMA {schema};")  File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/cursor.py", line 1087, in execute    Error.errorhandler_wrapper(self.connection, self, error_class, errvalue)  File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/errors.py", line 284, in errorhandler_wrapper    handed_over = Error.hand_to_other_handler(                  ^^^^^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/errors.py", line 339, in hand_to_other_handler    cursor.errorhandler(connection, cursor, error_class, error_value)  File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/errors.py", line 215, in default_errorhandler    raise error_class(snowflake.connector.errors.ProgrammingError: 002043 (02000): 01bb881b-0000-c602-0000-cde100062082: SQL compilation error:Object does not exist, or operation cannot be performed. During handling of the above exception, another exception occurred: Traceback (most recent call last):  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/models/taskinstance.py", line 767, in executetask    result = executecallable(context=context, **execute_callable_kwargs)             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/models/taskinstance.py", line 733, in executecallable    return ExecutionCallableRunner(           ^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/utils/operator_helpers.py", line 252, in run    return self.func(*args, **kwargs)           ^^^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/models/baseoperator.py", line 406, in wrapper    return func(self, args, *kwargs)           ^^^^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/decorators/base.py", line 266, in execute    return_value = super().execute(context)                   ^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/models/baseoperator.py", line 406, in wrapper    return func(self, args, *kwargs)           ^^^^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/operators/python.py", line 238, in execute    return_value = self.execute_callable()                   ^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/operators/python.py", line 256, in execute_callable    return runner.run(*self.op_args, **self.op_kwargs)           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/airflow/utils/operator_helpers.py", line 252, in run    return self.func(*args, **kwargs)           ^^^^^^^^^^^^^^^^^^^^^^^^^^  File "/opt/airflow/dags/yfinance_to_snowflake_fullrefresh.py", line 62, in load    cur.execute(f"REMOVE {table_stage}/{file_name}")  File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/cursor.py", line 1087, in execute    Error.errorhandler_wrapper(self.connection, self, error_class, errvalue)  File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/errors.py", line 284, in errorhandler_wrapper    handed_over = Error.hand_to_other_handler(                  ^^^^^^^^^^^^^^^^^^^^^^^^^^^^  File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/errors.py", line 339, in hand_to_other_handler    cursor.errorhandler(connection, cursor, error_class, error_value)  File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/errors.py", line 215, in default_errorhandler    raise error_class(snowflake.connector.errors.ProgrammingError: 090105 (22000): 01bb881b-0000-c619-0000-cde10006306e: Cannot perform STAGE RM. This session does not have a current database. Call 'USE DATABASE', or use a qualified name.Snowflake 세션에서 데이터베이스 또는 스키마가 제대로 설정되지 않아 발생한 문제로 보인다는데;;; 뭔가 실행에 이상이 있는건지;;;;

강사님 안녕하세요. airflow의 rest api를 이용하여 task를 재실행하는 코드를 개발하는 중 궁금한 점이 생겨서 문의드립니다. (참고로 실행환경은 회사pc입니다) ~/v1/dags/{dag_id}/dagRuns/{execution_date}/taskInstances/{task_id}/clear위와같이 특정 task의 실행 시간으로 실행하면 404에러가 뜨고 "detail": "The requested URL was not found on the server. If you entered the URL manually please check your spelling and try again.", "status": 404, "title": "Not Found", "type": "about:blank" REST-API문서를 살펴보니 clearTaskInstances가 있어서~/api/v1/dags/{dag_id}/clearTaskInstances이렇게 조회하면 405 에러가 뜹니다. "detail": "The method is not allowed for the requested URL.", "status": 405, "title": "Method Not Allowed", "type": "about:blank"  /clear이든 /clearTaskInstances 둘다 작동하지 않은데, 방법이 있을까요?두번째의 경우 서버에서 작동을 막는것일까요?

airflow dags list를 하면 yfinance_to_snowflake_fullrefresh.py 에서 no module named helpers 에러가 떴습니다. pip3 install helpers 를 통해 설치를 했는데도, 동일한 에러가 발생하고 있습니다. (python은 homebrew 통해 설치했고, homebrew 설치 시에 패키지 전역 설치가 안된다는 문제가 있었는데, 이는 해결해서 helpers Install은 완료 했습니다.)  

1. Data Drift 발생 시에 머신러닝 모델이 동작하지 않게 될 것이라는 것은 서비스는 돌아가지만, 머신러닝의 모델이 원래 기대했던 성능을 내지 못할 것을 의미하는 것일까요?예를 들어 추천 모델을 돌리고 있다면, 추천이 제대로 되지 않고 엉뚱한 것을 추천한다는 것을 의미하는 것인가요? 2. 주기적으로 데이터의 분포를 점검하는 필요가 있다면 어느 정도 주기여야 할까요? 3. 데이터의 분포가 어느 정도로 변하게 되면 이상 신호로 받아 들이게 되는 것인가요? 평균의 변화가 아닌 분산의 변화만으로도 이상 신호로 보아야 하는 것인지요? (뭔가 더 복잡하면 데이터의 성격에 따라 이러한 분포의 변화에 대해 반응해야 하는 수준이 다 다를 것으로도 느껴지기도 합니다.)

명령어:docker compose -f docker-compose.yaml up에러 메세지:ERROR! Maximum number of retries (20) reached.사용 환경windows 11 Home어떤 부분 때문에 계속 오류가 발생하는걸까요?