![[개정판] 파이썬 머신러닝 완벽 가이드강의 썸네일](https://cdn.inflearn.com/public/courses/324238/cover/7e380aa0-48ba-4ee7-a6b2-8da7900568d6/324238-eng.png?w=420)
[개정판] 파이썬 머신러닝 완벽 가이드
권 철민
₩99,000
초급 / Python, 머신러닝, 통계
4.9
(471)
이론 위주의 머신러닝 강좌에서 탈피하여 머신러닝의 핵심 개념을 쉽게 이해함과 동시에 실전 머신러닝 애플리케이션 구현 능력을 갖출 수 있도록 만들어 드립니다.
초급
Python, 머신러닝, 통계

본 강의는 Apache Airflow의 핵심 메커니즘과 DAG, Operator, Hook, Scheduling, Timezone, 멱등성, Template까지 상세한 이론과 실습으로 구성하여 Airflow가 “왜 이렇게 동작하는가”를 이해하고 스스로 데이터 파이프라인을 설계·디버깅할 수 있게 만드는 실전 중심 Airflow 마스터 과정입니다.


Airflow 주요 컴포넌트들의 핵심 동작 메커니즘 이해
Operator, Hook, TaskFlow API의 역할과 내부 동작 구조 이해
다양한 유형의 Operator(Bash, Http, SQL, S3) 사용법
API, SQL, Object Storage를 활용한 실전 데이터 파이프라인 구현
재실행, Timezone 오류, catchup/backfill 혼동 등 실무 운영 이슈 해결 역량 확보
멱등성을 고려한 안정적인 파이프라인 설계 능력
Interval 기반 스케줄과 실행 시점 기반 스케줄의 차이를 명확히 이해
실무에서 Airflow를 설계하고 운영할 수 있는 수준 도달
데이터 파이프라인의 복잡성을 명확히 이해하고,스스로 설계부터 디버깅까지 가능하게 만드는
실전 중심 Airflow 마스터 과정입니다.
내가 만든 데이터 파이프라인, 왜 점점 복잡해질까요?
왜 문제 하나 고치는데 반나절이 걸릴까요?
Airflow 스케줄이 꼬여 새벽에 비상 연락을 받은 경험이 있으신가요?
데이터가 중복으로 쌓여 복잡한 전처리에 골머리를 앓은 적은 없으신가요?
본 강의는 최신(강의를 출시하는 시점 기준) 버전인 Airflow 3.1 버전으로 이론과 실습을 진행합니다.
데이터 파이프라인을 '스스로' 설계하고 '운영까지 가능한 엔지니어'로 성장시켜 드립니다.
Airflow의 '왜?'라는 질문에 명확한 답을 찾게 됩니다.
Airflow의 핵심 메커니즘부터 DAG, Operator, Hook, Scheduling, Timezone, 멱등성, Template까지 상세한 이론과 실습을 통해 Airflow가 '왜 이렇게 동작하는지' 깊이 이해하도록 돕습니다. 이를 통해 스스로 데이터 파이프라인을 설계하고 디버깅하는 실전 역량을 키울 수 있습니다.
실무에서 인정받는 뛰어난 Airflow 문제 해결 능력을 갖추게 됩니다
실행 날짜와 실제 실행 시점의 차이, Timezone 오류, 재시도와 멱등성의 관계, catchup과 backfill의 동작 방식 등 Airflow 운영 중 빈번히 발생하는 문제들을 구조적으로 이해하고 해결합니다. 실습과 이론을 통해 내부 동작 원리를 명확히 파악함으로써, 단순 대응이 아닌 근본 원인 제거와 재발 방지 설계까지 가능해집니다..
자신있게 안정적인 데이터 파이프라인을 직접 설계/구축 합니다.
SQL, API, Object Storage 등 다양한 환경을 연결하는 실전 데이터 파이프라인을 직접 구축하며 Airflow 자신감을 가질 수 있으며, 데이터 중복 적재나 처리 실패와 같은 예측 불가능한 상황에서도 시스템 안정성을 유지할 수 있도록 멱등성(Idempotency)을 고려한 파이프라인 설계/구축 역량을 키웁니다.
Airflow 전문가로 성장합니다.
실제 운영 환경에서 반드시 알아야 하는 실전적인 내용들로 강의를 구성했습니다. 단순히 Airflow 사용법을 익히는 것을 넘어, 강의 수료 후에는 팀 내에서 Airflow 관련 질문에 자신 있게 답하고, 복잡한 데이터 파이프라인을 성공적으로 설계 및 운영할 수 있는 실무 전문가로 거듭나게 됩니다.
Airflow의 기본 개념을 확실하게 익히고, Operator와 Hook, 스케줄링과 Template까지, 초보자와 경험자 모두에게 적합한 단계별 학습을 제공합니다.
Airflow의 핵심 구성 요소인 DAG, Task, Task 간의 의존성 정의, 그리고 Task 간 데이터 전달 메커니즘인 XCom에 대해 상세히 학습합니다.또한 TaskFlow API 기반의 DAG, Airflow 주요 컴포넌트 역할, 자동 retries, Clear 기능을 통한 Task와 DAG Run 재 수행, Airflow Context 등을 학습하면서 Airflow 동작 메커니즘을 명확히 이해합니다
Bash Operator를 사용하여 쉘 스크립트를 실행하고, HTTP Operator를 통해 외부 API와 연동하는 방법을 실습합니다. 다양한 외부 시스템과의 통합 기반을 다집니다.
MySQL 및 PostgreSQL 데이터베이스에 연결하여 SQL 쿼리를 실행하는 방법을 학습합니다. 데이터베이스 기반의 데이터 처리 파이프라인 구축 역량을 강화합니다.
S3 Operator와 Hook을 활용한 Object 스토리지 연동 (MinIO)
MinIO를 이용한 S3 호환 객체 스토리지와 연동하는 방법을 실습합니다. 클라우드 스토리지 기반의 데이터 관리 및 처리 파이프라인을 구축하는 데 필수적인 내용입니다.
Airflow에서 가장 헷갈리기 쉬운 Interval 기반 Scheduling과 Timezone 동작 및 . 주기적으로 수행되는 DAG의 멱등성 유지 방식을 명확하게 이해할 수 있도록 많은 이론과 실습으로 채웠습니다. 또한 catchup, backfill, 그리고 최신의 Cron 식 Timetable 기반의 Point-In-Time 스케쥴링에 대해서도 자세히 말씀드립니다
Airflow의 Jinja 템플릿을 활용하여 동적인 워크플로우를 구성하는 방법을 학습합니다. 이를 통해 Operator 및 DAG를 더욱 유연하고 효율적으로 작성할 수 있습니다.
Airflow DAG가 왜 특정 시간에 실행되는지, 혹은 중복 실행되는지 명확히 이해하지 못해 운영 중에 곤란을 겪는 분
실행 중인 DAG를 디버깅하며 문제의 근본 원인을 파악하는 데 어려움을 느끼는 분
배치 작업 자동화나 데이터 처리를 위해 Airflow를 도입했지만,
Operator, Hook, Scheduling 등 핵심 개념을 깊이 있게 이해하지 못해 활용에 한계를 느끼는 분
멱등성 보장, 재시도 로직 구현, Timezone 설정 오류 등 Airflow 운영 중 발생하는 다양한 이슈들을 효과적으로 해결하고,
더욱 안정적이고 효율적인 데이터 파이프라인을 설계하고 싶은 분
운영 체제(OS): 실습은 Windows 운영에서 진행하지만, Mac에서도 문제 없이 수행됩니다.
PC 사양: Docker 및 Docker Desktop, VSCode를 설치하기 위해 인터넷 접속이 허용된 PC로서 6GB 이상의 RAM 필요
Airflow는 Astro CLI를 이용하여 Docker Container로 설치합니다. Airflow 버전은 3.1 입니다.
강의 자료는 강의 내에서 다운로드 받으실 수 있습니다.
실습 자료는 https://github.com/chulminkw/airflow_part_01 에서 다운로드 받으실 수 있습니다. 실습 코드를 보시면 강의 수강에 필요한 파이썬과 SQL 수준을 미리 가늠해 보실 수 있습니다.
학습 대상은
누구일까요?
Airflow를 쓰고 있지만 왜 이렇게 동작하는지 모르는 모든 이들
주니어 ~ 중급 데이터 엔지니어
데이터 엔지니어로 전환하고 싶은 백엔드 개발자(배치/데이터 처리 담당자)
(본 강의에서 AI를 다루지는 않지만) MLOps를 위한 데이터 파이프라인을 구성해야 하는 AI 엔지니어
Airflow를 “제대로” 배우고 싶은 모든 실무자
선수 지식,
필요할까요?
Python 및 SQL 기본 활용 능력
27,912
명
수강생
1,499
개
수강평
4,068
개
답변
4.9
점
강의 평점
15
개
강의
(전) 엔코아 컨설팅 | (전) 한국 오라클 | 파이썬 머신러닝 완벽 가이드 저자
AI 프리랜서 컨설턴트
전체
124개 ∙ (20시간 54분)
해당 강의에서 제공:
1. 강의 소개
07:38
2. 실습 환경 구성 개요
10:38
4. Docker Desktop 설치
08:29
6. Astro CLI 설치하기
08:25
15. 섹션 개요
01:38
16. Airflow 개요 및 장점
11:17
17. Airflow 단점
06:59
26. Xcom 이해
06:35
29. Xcom 다루기(딕셔너리값)
06:01
전체
2개
지식공유자님의 다른 강의를 만나보세요!
같은 분야의 다른 강의를 만나보세요!
₩66,000





