묻고 답해요
161만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결Airflow 마스터 클래스
설치 버전 관련 질문입니다.
도커를 사용한 것은 3.1.3 버전으로 다운 받고, 파이썬 3.9 버전에서 다운 받는 것은 3.0.4 버전으로 다운받았는데 혹시 문제 발생할 것이 있을까요?
-
미해결Airflow 마스터 클래스
우분투 버전 다운받아야하는데 어떤걸로 설치해야할까요?
위와 같이 설치된 배포판이 없어서 list 검색하니 여러 배포판 리스트가 나오는데요~지금시점에서 어떤 버전을 설치해야할지 말씀해주시면 좋을 거 같습니다~~!
-
미해결실리콘밸리 데이터 리더가 알려주는 Airflow 기초
forloop으로 task 정의시 task_id 정해지는 로직
안녕하세요. 49강 수강 중 질문이 있습니다. for table_name in TABLES.keys(): extract_from_postgres(postgres_schema, table_name) >> load_to_snowflake(snowflake_schema, table_name)현재 강사님이 주신 이 코드 기준 테이블 2개 tasks 2개 해서 총 4개의 tasks가 airflow tasks list의 결과로 반환되었는데요, 이때의 결과물인 tasks_id가 어떻게 만들어지는지 궁금합니다.조금 더 정확히는 forloop으로 task를 정의할 때 어떤 식으로 DAG가 이 task의 개수를 세고 네이밍을 하는지 궁금합니다.혼자 테스트를 해보고 싶어서 임의의 테이블 하나를 postgres:production에 추가하고 코드내부의 TABLES 딕셔너리에 제가 추가한 테이블의 스키마를 추가하였습니다. 이때 테이블이 총 3개가 되었으므로 airflow tasks list의 결과가 총 6개가 될 것으로 예상하였는데 여전히 4개로 나옵니다. 제가 놓친 부분이 있을까요?현재 production schema아래 3개의 테이블이 있는 상태입니다.airflow=# SELECT table_name FROM information_schema.tables WHERE table_schema = 'production' AND table_type = 'BASE TABLE' ORDER BY table_name; table_name ------------------------ session_timestamp user_session_channel user_session_channel_2 (3 rows)감사합니다. 학습 관련 질문을 상세하게 남겨주시면 더 좋습니다. 예를 들어 이해가 안 가는 부분이 있다고 하면 강의에서 어느 부분인지 어떤 부분이 이해가 안되는지 등등 추가 정보가 큰 도움이 됩니다. 그리고 에러가 난다면 어떤 에러 메시지가 나오는지 같이 공유해주세요. 혹시라도 유사한 질문이 있었는지 먼저 확인 부탁 드리겠습니다. 서로 예의를 지키며 존중하는 문화를 만들어갔으면 하고 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
-
미해결Airflow 마스터 클래스
DAG 만들기 중 airflow 패키지 로드 에러
안녕하세요 강사님, 강의 잘 수강하고 있습니다. Airflow 패키지 설치 이후 DAG 만들기 실습을 진행하려고 하는데 VSCode 환경에서 코드 입력 시 패키지를 로드하는 다음 코드에서 오류가 출력됩니다:Import "airflow.providers.standard.operators.bash" could not be resolvedPylancereportMissingImports cmd 터미널에서 (venv) 확인하고 airflow 설치 진행했는데, airflow, pendulum 등 관련 패키지를 인식하지 못하고 있는 것 같습니다. 오류 해결 위해 추가로 어떤 부분 확인해볼 수 있을지 도움 주시면 감사드리겠습니다. 그리고 VSCode 시작해서 처음 오픈되는 powershell 터미널에서 붉은 글씨로 보안 오류 (UnauthorizedAccess)가 출력되는데 이 오류는 대처할 필요는 없을까요? 확인 부탁드립니다. 감사합니다!
-
해결됨실리콘밸리 엔지니어와 함께하는 Apache Airflow
postgres_loader DAG 에러
해당 강의에서 진행한 postgres_loader DAG를 돌리면 자꾸 sample_table이 존재하지 않는다는 에러가 발생해서 질문 남깁니다.도커에서 설치해서 사용하고 있고 postgres 설치가 잘못된 것 같은데 다른 질문들 보면서 이것저것수정을 해서 더 잘 모르겠습니다 ㅠㅠ +) postgres 설치부터 잘못된 것 같은데.. 해결방법 좀 알려주세요!
-
미해결Airflow 마스터 클래스
3.0에서도 수업노트가 성립하는지 확인 부탁드립니다!
뒷 강의(Bash Operator에서 Jinja template 사용하기)의 수업 노트에 다음의 내용이 나오는데요.이 강의의 수업노트가 잘 이해되지 않았었는데 관련이 있을까요?data_interval_start 값과 data_interval_end 값이 동일하게 나오도록 변경되었습니다.
-
미해결Airflow 마스터 클래스
task_id 사용법이 뭔가 바뀐 것 같습니다.
@task만 쓰거나inner 함수에 return을 하거나multiple_outputs=True 옵션(이건 안해봄)으로 해결되는 것 같습니다. 로그는 다음과 같습니다.Timestamp: 2025-11-01 19:54:50 Traceback (most recent call last): File "<attrs generated methods airflow.sdk.bases.decorator._TaskDecorator>", line 37, in init _setattr('multiple_outputs', __attr_factory_multiple_outputs(self)) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/airflow/.local/lib/python3.12/site-packages/airflow/sdk/bases/decorator.py", line 328, in _infer_multiple_outputs if "return" not in self.function.annotations: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ AttributeError: 'str' object has no attribute 'annotations'. Did you mean: 'contains'?
-
해결됨실리콘밸리 엔지니어와 함께하는 Apache Airflow
Queue 강의를 듣고 난 후에 대한 질의
Queue에 대한 질문이 몇가지가 있습니다. 큐를 지정할 때는 무조건 큐의 이름을 지정해 줘야 하나요? 자동으로 비어 있는 woker에 큐를 할당하는 방법은 없나요?cpu_intensive라는 woker에 여러개의 큐가 동시에 요청이 왔을 경우 동기적으로 처리하나요?큐를 생성하면 해당 큐의 물리적 자원은 어떻게 할당 되는 것인가요?대체로 하나의 DAG에서 강의에 예시와 같이 여러 개의 큐를 사용하는 경우가 있을까요?워커를 많이 만들어 환경을 구성하는 사례는 어떤 사례가 있는지 알 수 있을까요? 내용 확인 부탁드립니다.
-
미해결Airflow 마스터 클래스
email operator 오류 관련
다음과 같이 진행했는데 dag을 돌리면 밑에 캡쳐처럼 오류가 나네용 왜그럴까용??
-
미해결Airflow 마스터 클래스
plugins 폴더 관련
이 부분 진행할 때 airflow 폴더에 plugins가 있던데 수업에서 만들었던적이 있을까요..? 듣고있는데 제 폴더에는 plugins가 없어서용! 따로 만들어야 하는건지 제가 놓친건지 궁금합니다
-
미해결Airflow 마스터 클래스
bash operator 관련 문의입니다
airflow에서 example_complex에 dag 코드가 이렇게 적혀있던데수업꺼랑 좀 코드 차이가 있어서요!스케쥴이나 import하는거나 변경을 어떻게해야할지 몰라서 문의드립니다
-
미해결Airflow 마스터 클래스
스케쥴러 - DAG 파싱 부하 줄이는 과정 질문
안녕하세요 김현진 선생님강의 잘 듣고 있습니다. 아래의 퀴즈를 풀다가 궁금한 점이 생겨서 질문을 남깁니다. 스케줄러의 DAG 파일 파싱 부하를 줄이기 위해 권장되는 코드 작성 방법은 무엇일까요? --> 라이브러리 import 문을 Python callable 함수 내부로 옮긴다. 위 설명을 이해하기 위해서 상황을 가정해보았는데요,python callable 함수 외부에 선언된 API 호출문이 있는 경우를 피해야하고, 만약 그렇게 되면스케쥴러가 DAG을 파싱할 때마다 실행되는 상황이 되는 것이 맞을까요?
-
미해결Airflow 마스터 클래스
Dags refresh 주기 관련 질문
강사님, 안녕하세요! DAG 파일을 추가하거나 수정할 때, Airflow UI에 변경 사항이 자동으로 반영되기까지 보통 1~5분 정도 소요되고 있습니다. 너무 오래 걸리는 경우에는 컨테이너를 재시작해 반영하고 있는데요. 혹시 Dags의 auto-refresh 주기를 단축시킬 수 있는 설정이나, UI 상에서 수동으로 바로 새로고침할 수 있는 방법이 있을까요? 현재 'apache/airflow:3.1.0' 이미지를 사용 중입니다.
-
미해결실리콘밸리 데이터 리더가 알려주는 Airflow 기초
SWAP 문법 활용 이유
안녕하세요 한기용 지식공유자님. 좋은 강의 잘 듣고 있습니다.ELT를 구현할 때 SWAP 명령어를 사용한 정확한 이유가 궁금합니다.제가 찾아본 바로는 SWAP 명령어는 포인터 교체 방식으로 '즉시' 데이터와 메타데이터가 교체되므로, 무중단 배포가 가능하다는 것이 장점인 것 같습니다.사실, 트랜잭션을 활용해도 같은 기능을 구현할 수 있을 것 같은데메타데이터 복제를 빠뜨리는 것을 예방하고, 트랜잭션을 활용하였을 때보다 성능이 우수하고, lock을 예방하기 때문에 SWAP 문법을 활용하는 걸까요?
-
해결됨토스 시니어 개발자와 함께하는 Data Workflow Management 기반의 대용량 데이터 처리 설계 패턴 [ By. 비전공자 & Toss 개발자 ]
실습환경에 대해 질문이 있습니다!
안녕하세요섹션6의 강의를 듣다가 질문드릴게 있어 글을 작성하게되었습니다우선 강의를 너무 잘 듣고 있음에 감사드립니다.다만 질문이 하나있는데요섹션 6강의의 실습환경에 기반이 되어지는python과 airflow 그리고 DB는 버전에 맞게 미리 설치를 하고 강의를 들어야하는게 맞는거죠?저는 강의에서 최초 환경부터 같이 설치하는 모습을 보여주시나 했는데 없어서 여쭈어봅니다.
-
미해결실리콘밸리 데이터 리더가 알려주는 Airflow 기초
copy into 성능 저하
안녕하세요 한기용 지식공유자님. 37. 앞서 Airflow 예제를 개선해보자 (v4) - 실습 강의에서 데이터의 벌크 업로드를 위해 dag의 insert into 코드를 copy into로 변경했습니다.그러나 이 경우 기존에 한 줄씩 insert into 하던 방식보다 더 느린 결과가 나옵니다(insert into의 경우 2분, copy into의 경우 3분)개인적으로는 제 컴퓨터의 IO 연산이 좋지 않고, 데이터의 양이 크지 않아서 오버헤드가 더 크기 때문인 것으로 예상하고 있는데, 지식공유자님의 의견도 알고 싶습니다 🙂
-
미해결Airflow 마스터 클래스
wsl 관련 질문입니다.!
https://inf.run/d2v1x이분과 같은 증상(?)이라 해야되나 wsl로 우분투 설치시에 저도 아이디 비밀번호 입력이 없었습니다. 그래서 재부팅후 설치를 헀는데 이런게 나오네용
-
미해결Airflow 마스터 클래스
macOS에서 docker 설치
안녕하세요 mac에서 docker 설치하려고 하는데 apt-get command not found가 뜹니다. 찾아보니 apt 명령어는 macOS에서 동작 안한다고 하는데 어떻게 진행하면 될까요?
-
미해결Airflow 마스터 클래스
템플릿 변수에 대한 오류
안녕하세요 CLI로 Trigger 기능을 수행하는 부분 강의를 듣던 중에,Web UI에서 Trigger를 누르면 정상적으로 수행되지만,쉘 스크립트 커맨드로 airflow dags trigger <DAG 이름>이라는 명령어를 실행했을 때아래와 같은 실패 로그가 나타나서 문의드립니다.혹시 커맨드라인으로 실행하면 {{data_interval_end}} 와 같은 템플릿을 적용할 수 없나요?
-
미해결Airflow 마스터 클래스
custom_image 디렉토리 문의드립니다.
안녕하세요.섹션 12 강의를 듣는중인데 airflow 디렉토리 밑에 custom_image 디렉토리가 이미 하나 있어야 하더라구요.그런데 제 airflow 디렉토리 밑에는 해당 디렉토리가 없습니다.여태 진행한 강의는 분명 빠짐없이 들었는데 제가 실수로 놓친 부분이 있는 것 같습니다..다시 찾아 듣고자 하는데 어느 강의인지 찾지를 못하고 있습니다.죄송하지만 혹시 해당 부분 몇 강에서 진행하셨는지 알 수 있을까요?