wjdqudwn

Learn the process of building data pipelines using Apache Airflow from basics to practical application. Understand Airflow's core concepts and architecture, and master advanced design patterns frequently used in practice such as dynamic DAGs, parallel processing, distributed processing, and Custom Operators through hands-on exercises. Set up a practice environment with Python and Docker, and develop practical skills to design and operate real workflows.

jhong

Toss Senior Developer's Data Workflow Management-Based Large-Scale Data Processing Design Patterns [ By. Non-CS Major & Toss Developer ]

실습 중심

자격증

시험

데이터분석

데이터베이스

Apache Airflow를 활용한 데이터 파이프라인 구축 과정을 기초부터 실전까지 학습합니다. Airflow의 핵심 개념과 아키텍처를 이해하고, 동적 DAG, 병렬 처리, 분산 처리, Custom Operator 등 실무에서 자주 활용되는 고급 설계 패턴을 실습을 통해 익힙니다. Python과 Docker로 실습 환경을 구성하며, 실제 워크플로우를 설계하고 운영할 수 있는 실전 역량을 기릅니다.

Hong

입문

초급

중급이상

Big Data

빅데이터

도커

Docker

docker-compose

airflow

토스 시니어 개발자와 함께하는 Data Workflow Management 기반의 대용량 데이터 처리 설계 패턴 [ By. 비전공자 & Toss 개발자 ]

강의 소개 및 강의 자료

Why We Want to Build a Data Pipeline?

Airflow Core Components And Architecture

DAG & Task 고급 설계 패턴

Airflow에서의 병렬처리 및 분산 처리와 대용량 재처리

Python & Docker를 활용한 경량 환경 구축

실전!! 실습하며 다루는 Airflow

여러분들이 아셨으면 좋은 Airflow 추가 실습