강의

멘토링

로드맵

NEW
개발 · 프로그래밍

/

백엔드

토스 시니어 개발자와 함께하는 Data Workflow Management 기반의 대용량 데이터 처리 설계 패턴 [ By. 비전공자 & Toss 개발자 ]

Apache Airflow를 활용한 데이터 파이프라인 구축 과정을 기초부터 실전까지 학습합니다. Airflow의 핵심 개념과 아키텍처를 이해하고, 동적 DAG, 병렬 처리, 분산 처리, Custom Operator 등 실무에서 자주 활용되는 고급 설계 패턴을 실습을 통해 익힙니다. Python과 Docker로 실습 환경을 구성하며, 실제 워크플로우를 설계하고 운영할 수 있는 실전 역량을 기릅니다.

52명 이 수강하고 있어요.

  • Hong
실습 중심
자격증
시험
데이터분석
데이터베이스
빅데이터Dockerdocker-composeairflow

이런 걸 배울 수 있어요

  • Apache Airflow의 개념과 필요성 이해

  • Airflow Core Components 구조 파악

  • 동적 DAG(Dynamic DAG) 설계 방법

  • TaskGroup과 의존성 관리 패턴

  • 병렬 처리 및 대용량 데이터 재처리 전략

  • Custom Operator와 그에 다른 캡슐화, 데코레이터 활용

  • Python & Docker 기반 실습 환경 구축

대용량 데이터 배치 처리에 대한 파이프라인은 어떤 서비스를 활용하면 좋을까? 🤔

❗이 내용은 실제 대화 내용입니다.❗

😁 Toss : Hong아 airflow 혹시 알고 있냐??

😄 Hong : 알고는 있는데, 써보지는 않았어 왜?

😁 Toss : 저번에 만든 workflow 강의 있잖아, 그거 보고 혹시 airflow에 대해서도 다루면 어떨까 싶어서.. 나는 airflow만 써봤거든

😄 Hong : 근데 나 airflow는 안써봤는데, 잘 몰라 어떻게 해야 하는건데

😁 Toss : ㄱㅊ 내가 실무에서 지금 사용하고도 있어서, 내가 주도적으로 알려줄 수 있어. 제자를 위해 한 몸 불태워불게

😄 Hong : ㅋㅋㅋㅋ 컨셉 잘잡았네. 알았어. 근데 이거 꼭 써야하는건가?? 일반 배치처리나 크론잡 처리나 사실크게 다를바를 못느끼겠는데?

😁 Toss : 그런 생각을 한다는거 부터가 airflow를 써야하는 이유가 되는거지.. airflow와 배치처리나 크론잡이랑은 일부 차이가 있지 속히 말해서 워크 플로우를 왜 써야하는 이유와 같고 빅데이터도 존재하잖아.

앞선 대화에서 Toss 시니어 개발자가 마지막으로 한 말의 의미는 무엇일까요??🤔

데이터 처리 모듈 구성하는데 꼭 Airflow가 필요한가?? 왜 꼭 사용해야하지?? 내가 생각했을 떄에는 그냥 일반적인 배치 처리 모듈이나 크론 잡을 통해서 구현하면 될 꺼 같은데??

혹시 이런 생각을 하셨나요?? 그렇다면 해당 강의를 통해서 Airflow를 활용하고 도입하는 과정을 공부해보시면 커리어 측면에서 큰 도움이 되실겁니다.


답은 워크플로우 관리에 있습니다. 데이터 추출, 가공, 처리까지 이 일련의 과정이 어떻게 안정적으로 흘러갈 수 있고 파이프라인처럼 순차적으로 의존적으로 관리가 될 수 있을까요?? 이 일련의 과정이 하나의 플랫폼을 통해 모두 지원이 된다면 어떨까요??


이론만 나열하는 지루한 강의나 아니라, 동작하는 과정을 함께 살펴보면서 워크 플로우 기반의 대용량 데이터 파이프라인 설계에 대해 핵심 기능을 완벽하게 정복하는 실전형 가이드로써 준비해 보았습니다. 🚀

이 강의의 특징

📌 30개 가량의 다이어그램, 강의 요약 파일 풍부한 강의 구성

* 단순히 말만으로 설명하는 강의가 아니라, 실제 소스코드, 다이어그램, 시퀀스그램, 추가로 강의 내용에 대한 간단한 요약본 파일도 제공해 드리고 있습니다.

📌 이론 60%, 실습 40%, 완벽한 테스트 환경 제공

* 단순하게 이론만을 나열하는 강의가 아닌, 실제 여러분들이 눈으로 확인하시며 배운 내용을 학습 하실 수 있는 경량된 환경을 제공해드리고 이 환경에서 실습도 유동적으로 테스트 하실 수 있게 구성해 드립니다.

이전 강의를 통해 입증된 전문성 (9.27 기준) 👨‍🏫 

🧑‍🎓 3075.0

🧑‍🎓 3794.9

🧑‍🎓 4834.7

🧑‍🎓 2394.8

강의에서는 이런 내용을 다루고 있어요. 🧩 

* What is Airflow?

*Batch Job & Cron Job Vs Airflow

*Apache Airfow의 단점과 도입에 대한 안티 패턴

* 전체적인 Core Components Architecture 소개

* WebServer Components Deep Ei

* Scheduler Components Deep Dive

* Executor Components Deep Dive

* MetaDataDB Components Deep Dive

* 동적 DAG 생성 패턴 [ Dynamic DAG ]

* Cross-DAG Dependencies와 데이터 의존성

* TaskGroup을 활용한 복잡한 워크플로우 설계

* 재사용 및 캡슐화를 위한 Custom Operator

*Docker, docker-compose를 활용한 경량 환경구축

* Airlfow의 병렬 처리와 분산 처리 전략

* Slack을 활용한 Notification

* CeleryExecutor를 활용한 데이터 분산 처리

이 강의가 특별한 이유

📌 50개의 쿠폰을 제공하는 이벤트

강의 얼리버드할인 기간에 구매해주시는 분들에 한해서 50명을 선별하고, 그에 따라 50% 쿠폰을 1개씩 제공해 드리고자 합니다

같이 보면 좋은 자료 🚀 

이 강의를 만든 사람 🤭

  • 비전공자로 시작하였고, 현재는 판교에서 플랫폼 백엔드 개발자로 근무하고 있는 개발자

  • 현실적인 개발 방식과 개발론을 알려드리는 것이 목표이고, 혼자가 아닌 주변 능력있는 지인들과 함께 강의를 만드는 지식 공유자

  • 열심히 활동한 덕분에 인프런에서 인터뷰 진행해 본 지식 공유자


  • 지방에서 컴퓨터 공학을 전공하였고, 네이버에서 개발을 하다가 현재는 토스에서 백엔드 개발을 하고 있는 서버 개발자

  • 늘 시간이 부족하여 홍에게 많이 혼나는 개발자...

  • 경제적 자유를 이루고 싶고, 1인 개발을 꿈꾸고 있는 개발자

참고 사항

실습 환경

  • python3, pip3

    • Python 3.13.2

    • 25.0 from /opt/homebrew/lib/python3.13/site-packages/pip (python 3.13)

  • docker, docker-compose

    • Docker version 28.0.0, build f9ced58158

    • Docker Compose version 2.33.1

  • OS

    • Apple M3 Air

해당 강의는 초기에 구매하시는 분들에게 더 많은 할인율을 제공해 드리기 위해서 시간이 지남에 따라서 할인율이 조율이 될 예정입니다. 참고 부탁드립니다.

이런 분들께
추천드려요

학습 대상은
누구일까요?

  • 실무에서 대규모 데이터를 다루는 서버/데이터 엔지니어

  • 데이터 파이프라인 설계와 운영 경험을 쌓고 싶은 개발자

  • Airflow를 도입하거나 고도화하려는 기업의 기술 담당자

  • 분산 처리 및 워크플로우 자동화에 관심 있는 아키텍트

  • 프로덕션 환경에서 안정적인 데이터 플랫폼을 구축하고 싶은 팀 리드/시니어 개발자

안녕하세요
입니다.

3,174

수강생

212

수강평

86

답변

4.6

강의 평점

16

강의

자기 소개

집에서 빈둥대다 개발에 흥미를 느껴 개발 공부를 시작하였고 현재는 판교에서 플랫폼 서버 개발을 담당하여 진행하고 있습니다.

 

제가 공부를 했던 방법과 실무에서 접하실 수 있는 여러가지 문제점들과 해결책을 여러분들에게 제공하고 싶어 지식공유자 활동을 이어나가고 있습니다.

 

강의는 오로지 저만의 지식을 통해 만들어지지 않습니다. 모든 강의는 함께하시는 분들이 계십니다.

 

지식공유자 경력

[前] 샌드박스 블록체인 개발자

[前] 넥슨 자회사 백엔드 개발자

[] 판교에서 고여가는 서버 개발자

 

인터뷰 이력

커리큘럼

전체

29개 ∙ (4시간 39분)

해당 강의에서 제공:

수업자료
강의 게시일: 
마지막 업데이트일: 

수강평

아직 충분한 평가를 받지 못한 강의입니다.
모두에게 도움이 되는 수강평의 주인공이 되어주세요!

얼리버드 할인 중

₩4,678

50%

₩79,200

Hong님의 다른 강의

지식공유자님의 다른 강의를 만나보세요!

비슷한 강의

같은 분야의 다른 강의를 만나보세요!