묻고 답해요
156만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결Airflow 마스터 클래스
Invalid URL error
BaseOperator 생성이 문제일까요?Invalid URL Error 가 나네요. *** Could not read served logs: Invalid URL 'http://:8793/log/dag_id=dags_seoul_api_corona/run_id=manual__2025-06-13T01:23:17.406645+00:00/task_id=tb_corona19_count_status/attempt=1.log': No host supplied
-
미해결Airflow 마스터 클래스
27. Bash Operators with macros 질문 (START_DATE, END_DATE)
airflow 3.* 를 기준으로 data_interval_start 나 data_interval_end 모두 같은 시간이 나와서 기존 gitHub 코드로 실습하니 기대했던 것과는 다른 log 결과가 반환 되었습니다.이럴 경우 어떻게 코드를 수정해야 하는지 가르쳐주실 수 있을까요?( 혹시 섹션 19에서 다루셨다면 미리 사과드립니다 .. )
-
미해결Airflow 마스터 클래스
python 코드 디버깅 문의
안녕하세요? 강의중 python 으로 dag 작성시 별도의 디버깅을 하지 않는것으로 보입니다.강의를 따라 실제 Dag 작성후 webserver에 반영을하면 여러가지 오류가 가끔 발생되는데, 사전에 디버깅 하는 요령이 있을까요 ?
-
미해결Airflow 마스터 클래스
Airflow 3.* 버전 수강생 Chapter 18 수강
안녕하세요, 좋은 강의 잘 수강하고 있습니다.다름이 아니라 현재 시점으로 airflow 3.* 버전으로 수강 중에 있는데 Chapter 18을 건너뛰고 Chapter 19를 들으면 되는건지 궁금해서 질문 남깁니다. 답변 미리 감사드립니다.
-
미해결Airflow 마스터 클래스
update 부분 강의 질문
선생님 안녕하세요airflow 업데이트에 따라서 강의도 업데이트 해주셔서 정말 감사합니다. 이전에 한번 듣고 다시 복습해서 듣고 있는데, 정말 도움이 많이 되네요 제가 아직 2.10 부분 업데이트를 안들은 상태인데, 3.0 부분 업데이트가 새로 있더라고요. 혹시 2.10 부분 업데이트 강의는 skip하고 3.0 업데이트 부분만 들어도 괜찮을까요?
-
미해결Airflow 마스터 클래스
email operator 에러
안녕하세요.email operator dag을 수행하니 다음과 같이 에러가 납니다. 아래는 제 yaml 파일 설정과 dag 파일입니다. 참고로, google 계정의 보안메뉴에서 앱 비밀번호 설정 메뉴가 조금 바뀌어서 제가 나름대로 search 하여서 앱 번호를 받았습니다. 제 dag입니다. 혹시 airflow.cfg 파일에 들어가보니 SMTP 설정이 되어 있지 않습니다. 관련이 있을까요? 에어플로우 UI 메뉴에서 admin - Connections 에 들어가보았더니 connection이 아무것도 없습니다. 도와주세요!
-
미해결Airflow 마스터 클래스
example_bash_operator 안보임 현상
강사님 airflow 설치 과정 중example_bash_operator 의 dag 가 전혀보이지않아 문의드립니다. 강의대로 따라하고 docker compose up 시, 정상작동을 하는 것같고 다른분들은 example_bash_operator의 dag이 잘보이는거 같은데, 저만 따로 보이지가 않네요..어떻게 해결을 하면 좋을까요?
-
미해결Airflow 마스터 클래스
[Python 오퍼레이터 기본] 10:30 에 나오는 UnPaused 시 동작 이유가 궁금합니다.
질문이 있습니다.[Bash Operator & 외부 쉘파일 수행하기] 강의의 22:20 즈음에 설명해주시는 Unpaused 이후 Dag 의 자동 실행이 어떤 조건에 일어나는 지를 설명해주셨습니다. 그리고 여기서 Next Run 이후의 시간에 Unpause 를 해도, 동작 안하므로 Trigger 를 수동으로 클릭해야 된다고 알려주십니다. 그런데 이후에... [Python 오퍼레이터 기본] 강의의 10:30 즈음에 Unpause 를 누르자 자동으로 실행이 되는 걸 확인할 수 있습니다. 10:21 에는 분명 Next Run 이 2023-03-18, 06:30:00 이라서 분명 과거인데도 자동으로 시작이 되고 있습니다. Next Run 이후의 시간대에서 Unpause 를 하면 자동 실행이 안되서 Trigger 를 한번 해줘야되는 거 아니였나요?여기서는 왜 실행이 된 건가요??
-
해결됨Airflow 마스터 클래스
[외부 파이썬 함수 수행하기] 강의 질문. Trigger 를 시켰는데, Log 조회 불가
안녕하세요 선생님, 제가 선생님과 똑같은 코드로 Task 를 Trigger 를 해봤습니다. 실행도 되고 성공도 한 거 같기는 한데, 이상하게 GRID 창에서 Task 로그를 위해 클릭을 하려고 하면 저 빨간색 박스 부분이 비어있습니다. 그래서 로그를 못보고 있습니다.혹시나 몰라 Task Graph 도 첨부합니다.그리고 Airflow 버전은 2.10.5 를 사용중입니다.
-
미해결실리콘밸리 데이터 리더가 알려주는 Airflow 기초
이전 강의에서도 그랬지만 소리가 너무 작아요
강의의 절대 소리가 작아서, 휴대폰(갤럭시 S24) 기준으로 최대 볼륨으로 올려도 만족스러울만큼 크지가 않습니다. 또한 다른 애플리케이션에서 나오는 소리와 차이가 커서 볼륨을 계속 변경해줘야 해요. 이미 찍은 강의에서 이를 개선해주실 수 있을진 모르겠지만, 불편하다는 점 인지해주시면 감사하겠습니다.
-
미해결Airflow 마스터 클래스
에어플로우 일부 작동 비정상
안녕하세요. 강사님 현재 저는 mac 기반이며,airflow 을 띄우는데는 성공하였습니다. dag으로 들어가, 실행까지는 잘 되는데 그 후 코드나 그래프를 확인하려면 무한로딩만 되어내용을 볼수없는 상황입니다.문제가 되는 화면인데, 혹시 몰라 docker ps 로 입력 시 일부 몇개가 unhealthy 하게 나오는것을 확인하였는데, 이 부분과 문제가 있을까요?
-
미해결Airflow 마스터 클래스
Dag 에러가 나는데 모르겠어요
안녕하세요. Broken DAG: [/opt/airflow/dags/dags_python_with_op_kyargs.py] Traceback (most recent call last): File "/home/airflow/.local/lib/python3.12/site-packages/airflow/models/baseoperator.py", line 508, in apply_defaults result = func(self, kwargs, default_args=default_args) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/airflow/.local/lib/python3.12/site-packages/airflow/models/baseoperator.py", line 959, in init raise AirflowException( airflow.exceptions.AirflowException: Invalid arguments were passed to PythonOperator (task_id: regist2_t1). Invalid arguments were: kwargs: {'op_kyargs': {'email': '@naver.com', 'phone': '010'}}이런 에러가 왜 난거져?
-
미해결Airflow 마스터 클래스
유형 3 Setup Task X
선생님 유형 3개중 3번에 Setup Task: X 되어있는데, 셋업테스크는 있는거 아닌가요직접 연결이 안되어있단 의미에서 그렇게 적으신건가 헷갈립니다Teardown Task는 X인거같은데 유형 1과 동일하게 Downstream으로 적혀있어서, 약간 헷갈립니다(Setup & Teardown 강의, 슬라이드 4)
-
미해결Airflow 마스터 클래스
wsl 에서 user/password 입력
안녕하세요wsl 에서 user/password 입력을 계속하라고 하는데,password를 토큰으로 입력해야하다보니 너무 힘들어요.copy & paste 가 안되더라구요 ㅠㅠ어떻게 미리 등록해놓고 안물어보게 할수는 없나요?
-
미해결Airflow 마스터 클래스
dag 에러났어요
Broken DAG: [/opt/airflow/dags/dags_bash_operator.py] Traceback (most recent call last): File "<frozen importlib._bootstrap_external>", line 1063, in source_to_code File "<frozen importlib._bootstrap>", line 488, in callwith_frames_removed File "/opt/airflow/dags/dags_bash_operator.py", line 24 bash_t1 >> bash_t2 ^ IndentationError: unindent does not match any outer indentation level 이런 에러가 났는데요소스에서 확인해보니from airflow.operators.bash import BashOperator ㅇairflow.operators.bash 에 ~~~~~~ 이렇게 되어 있네요. 강사님 따라 그대로 했는데 에러가 왜 난걸까요?
-
미해결실리콘밸리 데이터 리더가 알려주는 Airflow 기초
nps.csv 파일 위치
안녕하세요. 'Snowflake 환경 익히기' 강의에서 nps.csv 파일 다운로드 하라고 돼 있는데, pdf 파일만 내려받아집니다.비슷한 질문이 있어서 커리큘럼에 있는 자료 내려받기를 해도 마찬가지 입니다. 확인 부탁드립니다.감사합니다.
-
해결됨Airflow 마스터 클래스
vscode에서 소스 빨갛게 밑줄 가서 에러 처럼 보여요
에어플로워 라이브러리 로컬컴에 설치했고 코드에서 import 하였습니다.실제 dag도 airflow에서 정상 동작하는데요.vscode에서만 소스에 문제 있는것처럼 빨갛게 밑줄이 갑니다.불편하지는 않은데 실제 에러랑 구분이 안되서 해결하고 싶어서요.뭐가 문제인지 예상되는게 있으실까요?
-
미해결Airflow 마스터 클래스
Airflow 오류
안녕하세요! 먼저 수업 잘 듣고 있습니다 :) 현재 section 6까지 완강하였습니다.32강 varible 실습 코드부터 airflow에 올라오지 않는 것 같습니다. git push와 git pull 완료 후, wsl에 dags 폴더 내에 해당 코드들이 있는 건 확인했습니다.하루에 정해진 작업량이 있어서 그런건지 여쭤보고 싶습니다.compose down 시키고 다시 airflow 올려도 똑같이 현시가 안되는 상황입니다....ㅠ
-
미해결실리콘밸리 데이터 리더가 알려주는 Airflow 기초
강의가 잘못 올라온것이 있네요. => 48강
48. Postgres 테이블 읽어오기 강의가 49. Postgres 테이블 읽어오기 실습 강의와 같습니다.즉 48 에서는 이론강의 부분인데 실습부분 입니다. 48강의 이론 부분으로 변경이 필요합니다.
-
미해결Airflow 마스터 클래스
8강에서 postgresql 접속이 안되네요
몇시간째 이유를 모르겠네요. 아래와 같은 에러로 airflow에서 postresql로 접속이 안되는것 같습니다.File "/opt/airflow/dags/dags_python_with_postgres.py", line 17, in insrt_postgreswith closing(psycopg2.connect(host=ip, dbname=dbname, user=user, password=passwd, port=int(port))) as conn:^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^File "/home/airflow/.local/lib/python3.12/site-packages/psycopg2/__init__.py", line 122, in connectconn = connect(dsn, connectionfactory=connection_factory, **kwasync)^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^psycopg2.OperationalError: connection to server at "172.28.0.3", port 5432 failed: Connection timed outIs the server running on that host and accepting TCP/IP connections? from airflow import DAG import pendulum from airflow.operators.python import PythonOperator with DAG( dag_id='dags_python_with_postgres', start_date=pendulum.datetime(2023,4,1, tz='Asia/Seoul'), schedule=None, catchup=False ) as dag: def insrt_postgres(ip, port, dbname, user, passwd, **kwargs): import psycopg2 from contextlib import closing with closing(psycopg2.connect(host=ip, dbname=dbname, user=user, password=passwd, port=int(port))) as conn: with closing(conn.cursor()) as cursor: dag_id = kwargs.get('ti').dag_id task_id = kwargs.get('ti').task_id run_id = kwargs.get('ti').run_id msg = 'insrt 수행' sql = 'insert into py_opr_drct_insrt values (%s,%s,%s,%s);' cursor.execute(sql,(dag_id,task_id,run_id,msg)) conn.commit() insrt_postgres = PythonOperator( task_id='insrt_postgres', python_callable=insrt_postgres, op_args=['172.28.0.3', '5432', 'emuce', 'emuce', 'emuce'] ) insrt_postgres