토스 개발자와 함께하는 Data Workflow Management 기반의 대용량 데이터 처리 설계 패턴

Apache Airflow를 활용한 데이터 파이프라인 구축 과정을 기초부터 실전까지 학습합니다. Airflow의 핵심 개념과 아키텍처를 이해하고, 동적 DAG, 병렬 처리, 분산 처리, Custom Operator 등 실무에서 자주 활용되는 고급 설계 패턴을 실습을 통해 익힙니다. Python과 Docker로 실습 환경을 구성하며, 실제 워크플로우를 설계하고 운영할 수 있는 실전 역량을 기릅니다.

(4.7) 수강평 19개

수강생 216명

난이도 초급

수강기한 무제한

실습 중심
실습 중심
자격증
자격증
시험
시험
데이터분석
데이터분석
데이터베이스
데이터베이스
실습 중심
실습 중심
자격증
자격증
시험
시험
데이터분석
데이터분석
데이터베이스
데이터베이스
카카오페이
CJ
잉카인터넷
LG전자
카카오엔터테인먼트

카카오엔터테인먼트

임직원들도 이 강의를 듣고 있어요!

카카오페이
CJ
잉카인터넷
LG전자
카카오엔터테인먼트

카카오엔터테인먼트

임직원들도 이 강의를 듣고 있어요!

먼저 경험한 수강생들의 후기

4.7

5.0

미래 1인 개발자

93% 수강 후 작성

이번에 배치처리의 꽃이라고 할 수 있는 Airflow에 대한 주제로 강의를 함께 준비한 토스에서 개발하고있는 개발자 입니다. AIrflow라는 서비스가 생각보다 많이 생소한 경우가 많지만, 서비스가 거대해질수록 이런 워크플로우 서비스는 굉장히 유용합니다. 대용량의 배치 처리를 처리하는데에 있어서 가장 우선시하여 고려되는 서비스이기 떄문입니다. 아직 여러분들이 이 Airflow를 학습 할 필요가 없는 환경이라도 이 강의에서 알려주는 다양한 관점과 개념들은 여러분들이 개발하고 공부하는 환경에 반드시 도움이 될 겁니다. 단순히 Airflow만을 학습하는 강의는 아니라고 생각을 해서요. 많은 관심 부탁드리고 다음 강의도 기대해주시기를 바라겠습니다. 감사합니다!!

5.0

dellahong

62% 수강 후 작성

Airflow를 3년째 사용하고 있지만, 점점 데이터 처리 규모가 커질수록 잦은 에러가 발생하기 시작하면서 다른 회사에서는 어떤 방식으로 사용을 할까 싶어서 강의를 듣게되었습니다. 너무 많은 도움이 되고 있어요! 실무적으로 Airflow의 개념과 실습이 있어서 이해하고 적용하는데 도움이 많이됩니다 :)

5.0

텐버거!

100% 수강 후 작성

제가 처음보고 볼 수 없었던 관점에서의 다양한 개념을 알려주는 뜻깊은 강의라고 생각합니다. 내용 자체가 음.. 뭐랄까 제 식견을 넓혀주는 내용이였던거 같아요. 좋은 강의 너무 감사합니다. 텐버거!

수강 후 이런걸 얻을 수 있어요

  • Apache Airflow의 개념과 필요성 이해

  • Airflow Core Components 구조 파악

  • 동적 DAG(Dynamic DAG) 설계 방법

  • TaskGroup과 의존성 관리 패턴

  • 병렬 처리 및 대용량 데이터 재처리 전략

  • Custom Operator와 그에 다른 캡슐화, 데코레이터 활용

  • Python & Docker 기반 실습 환경 구축

이런 분들께
추천드려요

학습 대상은
누구일까요?

  • 실무에서 대규모 데이터를 다루는 서버/데이터 엔지니어

  • 데이터 파이프라인 설계와 운영 경험을 쌓고 싶은 개발자

  • Airflow를 도입하거나 고도화하려는 기업의 기술 담당자

  • 분산 처리 및 워크플로우 자동화에 관심 있는 아키텍트

  • 프로덕션 환경에서 안정적인 데이터 플랫폼을 구축하고 싶은 팀 리드/시니어 개발자

안녕하세요
Hong입니다.

인프런인증

커리어인증

9,258

수강생

593

수강평

165

답변

4.8

강의 평점

31

강의

집에서 빈둥대다 개발에 흥미를 느껴 개발 공부를 시작하였고 현재는 판교에서 플랫폼 서버 개발을 담당하여 진행하고 있습니다. 제가 공부를 했던 방법과 실무에서 접하실 수 있는 여러가지 문제점들과 해결책을 여러분들에게 제공하고 싶어 지식공유자 활동을 이어나가고 있습니다.

 

강의는 오로지 저만의 지식을 통해 만들어지지 않습니다. 모든 강의는 함께하시는 분들이 계십니다.

 

[지식공유자 경력]

[前] 샌드박스IP 관련 블록체인 개발자

[前] 메타버스 백엔드 개발자

[] 판교에서 고여가는 서버 개발자

 

[인터뷰 이력]

[기타 문의]

[공식 사이트]

더보기

커리큘럼

전체

29개 ∙ (4시간 39분)

해당 강의에서 제공:

수업자료
강의 게시일: 
마지막 업데이트일: 

수강평

전체

19개

4.7

19개의 수강평

  • dellahong님의 프로필 이미지
    dellahong

    수강평 1

    평균 평점 5.0

    5

    62% 수강 후 작성

    Airflow를 3년째 사용하고 있지만, 점점 데이터 처리 규모가 커질수록 잦은 에러가 발생하기 시작하면서 다른 회사에서는 어떤 방식으로 사용을 할까 싶어서 강의를 듣게되었습니다. 너무 많은 도움이 되고 있어요! 실무적으로 Airflow의 개념과 실습이 있어서 이해하고 적용하는데 도움이 많이됩니다 :)

    • Hong
      지식공유자

      dellahong님 좋은 평 감사합니다. 실무자가 해주는 평가라니 더 뜻깊네요 앞으로 노력하겠습니다!

  • 에이미님의 프로필 이미지
    에이미

    수강평 9

    평균 평점 5.0

    5

    93% 수강 후 작성

    써보지는 못했지만, 대용량 배처치러에 대한 견해를 배울 수 있는 좋은 강의라고 생각한비다. 강의 잘 봤습니다.

    • Hong
      지식공유자

      안녕하세요 a mi님 좋은 평 남겨주셔서 감사합니다!! 앞으로 더 좋은강의 제공해 드릴 수 있도록 노력하겠습니다. 좋은 하루 보내세요!

  • Jlos Ho님의 프로필 이미지
    Jlos Ho

    수강평 9

    평균 평점 5.0

    5

    90% 수강 후 작성

    좋은 강의 감사합니다. 공유자님 강의에서 Spring, Java 말고 다른 언어를 사용하시는건 처음보는거 같습니다. 그래도 크게 불편한 부분 없이 잘 보았고, python 언어를 물론 알고 있다면 더 보기에는 더 좋다고 생각하지만, 단순하게 Airflow를 활용하고 테스트해보고 속히말해 맛을 보고 싶다면 굳이 몰라도 되는 강의인거 같습니다. 이번에도 정말 너무 좋은 강의 감사드리고 공유자님도 점점 강의 실력도 성장하고 그에따라서 저도 같이 성장하는거 같아 뿌듯하네요 ㅎㅎ 다음에도 좋은 주제로 잘 부탁드리겠습니다!

    • Hong
      지식공유자

      안녕하세요 Jios Ho님 평 남겨주셔서 감사합니다. 요즘에는 언어에 대한 제약이 적어지는 추세같아요. 그래서 이번에는 좀 특징있는 강의로 한번 준비해 보았습니다. 감사합니다!

  • 미래 1인 개발자님의 프로필 이미지
    미래 1인 개발자

    수강평 8

    평균 평점 5.0

    5

    93% 수강 후 작성

    이번에 배치처리의 꽃이라고 할 수 있는 Airflow에 대한 주제로 강의를 함께 준비한 토스에서 개발하고있는 개발자 입니다. AIrflow라는 서비스가 생각보다 많이 생소한 경우가 많지만, 서비스가 거대해질수록 이런 워크플로우 서비스는 굉장히 유용합니다. 대용량의 배치 처리를 처리하는데에 있어서 가장 우선시하여 고려되는 서비스이기 떄문입니다. 아직 여러분들이 이 Airflow를 학습 할 필요가 없는 환경이라도 이 강의에서 알려주는 다양한 관점과 개념들은 여러분들이 개발하고 공부하는 환경에 반드시 도움이 될 겁니다. 단순히 Airflow만을 학습하는 강의는 아니라고 생각을 해서요. 많은 관심 부탁드리고 다음 강의도 기대해주시기를 바라겠습니다. 감사합니다!!

    • Hong
      지식공유자

      💜

  • 텐버거!님의 프로필 이미지
    텐버거!

    수강평 10

    평균 평점 5.0

    5

    100% 수강 후 작성

    제가 처음보고 볼 수 없었던 관점에서의 다양한 개념을 알려주는 뜻깊은 강의라고 생각합니다. 내용 자체가 음.. 뭐랄까 제 식견을 넓혀주는 내용이였던거 같아요. 좋은 강의 너무 감사합니다. 텐버거!

    • Hong
      지식공유자

      안녕하세요 텐버거!님 좋은 평 남겨주셔서 감사합니다!! 앞으로 더 좋은 내용 제공해 드릴 수 있또록 노력하겠습니다!!

Hong님의 다른 강의

지식공유자님의 다른 강의를 만나보세요!

비슷한 강의

같은 분야의 다른 강의를 만나보세요!

연관 로드맵

강의가 포함된 로드맵으로 학습해 보세요!