강의

멘토링

로드맵

NEW
Programming

/

Back-end

Toss シニア開発者と一緒に学ぶ Data Workflow Management 基盤の大容量データ処理設計パターン [ By. 非専攻者 & Toss 開発者 ]

Apache Airflowを活用したデータパイプライン構築過程を基礎から実戦まで学習します。Airflowの核心概念とアーキテクチャを理解し、動的DAG、並列処理、分散処理、Custom Operatorなど実務でよく活用される高級設計パターンを実習を通じて身につけます。PythonとDockerで実習環境を構成し、実際のワークフローを設計し運営できる実戦力を育てます。

  • Hong
실습 중심
자격증
시험
데이터분석
데이터베이스
Big Data
Docker
docker-compose
airflow

学習した受講者のレビュー

こんなことが学べます

  • Apache Airflowの概念と必要性の理解

  • Airflow Core Components 構造把握

  • 動的DAG(Dynamic DAG)設計方法

  • TaskGroupと依存性管理パターン

  • 並列処理および大容量データ再処理戦略

  • Custom Operatorとそれに伴うカプセル化、デコレーター活用

  • Python & Docker ベースの実習環境構築

大容量データのバッチ処理パイプラインにはどのようなサービスを活用すると良いでしょうか?🤔

❗この内容は実際の会話内容です。❗

😁 Toss : Hongさん、airflowって知ってる??

😄 Hong : 知ってはいるけど、使ったことはないよ。なんで?

😁 Toss : この前作ったworkflow講座があるじゃない、それを見てもしかしてairflowについても扱ったらどうかなと思って.. 私はairflowしか使ったことないから

😄Hong:でも私airflowは使ったことないから、よく分からない、どうすればいいの

😁 Toss : 大丈夫、私が実務で今使っているから、私が主導的に教えてあげられる。弟子のために身を燃やすよ

😄 Hong : 😆😆😆😆 コンセプトよく捉えたね。分かった。でもこれって必ず使わなきゃいけないの??一般的なバッチ処理やcronジョブ処理と実際大きく違いを感じられないんだけど?

😁 Toss : そんな考えを持つこと自体が airflowを使うべき理由になるんだよ.. airflowとバッチ処理やクロンジョブとは一部違いがあるし、簡単に言えばワークフローをなぜ使うべき理由と同じで、ビッグデータも存在するじゃん。

先ほどの会話でTossシニア開発者が最後に言った言葉の意味は何でしょうか??🤔

データ処理モジュールを構成するのに必ずAirflowが必要なの??なぜ必ず使わなければならないの??私が考えるには、一般的なバッチ処理モジュールやcronジョブで実装すれば良いと思うんだけど??

もしかしてこのような考えをお持ちでしょうか??そうであれば、該当講義を通じてAirflowを活用し導入する過程を学習されると、キャリア面で大きな助けになるでしょう。


答えはワークフロー管理にあります。データ抽出、加工、処理まで、この一連のプロセスがどのように安定的に流れ、パイプラインのように順次的に依存関係を持って管理できるでしょうか??この一連のプロセスが一つのプラットフォームを通じてすべてサポートされたらどうでしょうか??


理論だけを羅列する退屈な講義ではなく、動作する過程を一緒に見ながらワークフロー基盤の大容量データパイプライン設計について核心機能を完璧に攻略する実戦型ガイドとして準備いたしました。🚀

この講義の特徴

📌 約30個の図表、講義要約ファイルによる充実した講義構成

* 単純に言葉だけで説明する講義ではなく、実際のソースコード、ダイアグラム、シーケンス図、さらに講義内容に関する簡単な要約ファイルも提供しています。

📌 理論60%、実習40%、完璧なテスト環境を提供

* 単純に理論だけを羅列する講義ではなく、実際に皆さんが目で確認しながら学んだ内容を学習できる軽量な環境を提供し、この環境で実習も柔軟にテストできるよう構成いたします。

過去の講義で実証された専門性(9.27基準)👨‍🏫

🧑‍🎓 3075.0

🧑‍🎓3794.9

🧑‍🎓 4834.7

🧑‍🎓 2394.8

講義ではこのような内容を扱っています。🧩

* Airflowとは何ですか?

*Batch Job & Cron Job Vs Airflow

*Apache Airflowの欠点と導入におけるアンチパターン

* 全体的なCore Components Architectureの紹介

* WebServer Components Deep Ei

* Scheduler Components Deep Dive

* Executorコンポーネント詳細解説

* MetaDataDB コンポーネント詳細解説

* 動的DAG生成パターン [ Dynamic DAG ]

* Cross-DAG Dependenciesとデータ依存性

* TaskGroupを活用した複雑なワークフロー設計

* 再利用とカプセル化のためのCustom Operator

*Docker、docker-composeを活用した軽量環境構築

* Airflowの並列処理と分散処理戦略

* Slackを活用したNotification

* CeleryExecutorを活用したデータ分散処理

この講義が特別な理由

📌50枚のクーポンを提供するイベント

講義のアーリーバード割引期間にご購入いただいた方の中から50名を選別し、それに応じて50%クーポンを1つずつ提供させていただきます

一緒に見ると良い資料 🚀

この講義を作った人🤭

  • 非専攻者としてスタートし、現在は板橋でプラットフォームバックエンド開発者として勤務している開発者

  • 現実的な開発方式と開発論をお伝えすることが目標であり、一人ではなく周りの能力ある知人たちと一緒に講義を作る知識共有者

  • 熱心に活動したおかげでInflearnでインタビューを行った知識共有者


  • 地方でコンピュータ工学を専攻し、ネイバーで開発をした後、現在はトスでバックエンド開発をしているサーバー開発者

  • いつも時間が足りなくてホンによく怒られる開発者...

  • 経済的自由を実現したく、1人開発を夢見ている開発者

参考事項

実習環境

  • python3, pip3

    • Python 3.13.2

    • 25.0 from /opt/homebrew/lib/python3.13/site-packages/pip (python 3.13)

  • docker, docker-compose

    • Docker version 28.0.0, build f9ced58158

    • Docker Compose version 2.33.1

  • OS

    • Apple M3 Air

該当講義は、初期にご購入いただく方により多くの割引率を提供するため、時間が経つにつれて割引率が調整される予定です。ご参考ください。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • 実務で大規模データを扱うサーバー/データエンジニア

  • データパイプライン設計と運営経験を積みたい開発者

  • Airflowを導入または高度化しようとする企業の技術担当者

  • 分散処理およびワークフロー自動化に関心のあるアーキテクト

  • プロダクション環境で安定的なデータプラットフォームを構築したいチームリード/シニア開発者

こんにちは
です。

3,243

受講生

224

受講レビュー

89

回答

4.6

講座評価

16

講座

자기 소개

집에서 빈둥대다 개발에 흥미를 느껴 개발 공부를 시작하였고 현재는 판교에서 플랫폼 서버 개발을 담당하여 진행하고 있습니다.

 

제가 공부를 했던 방법과 실무에서 접하실 수 있는 여러가지 문제점들과 해결책을 여러분들에게 제공하고 싶어 지식공유자 활동을 이어나가고 있습니다.

 

강의는 오로지 저만의 지식을 통해 만들어지지 않습니다. 모든 강의는 함께하시는 분들이 계십니다.

 

지식공유자 경력

[前] 샌드박스 블록체인 개발자

[前] 넥슨 자회사 백엔드 개발자

[] 판교에서 고여가는 서버 개발자

 

인터뷰 이력

カリキュラム

全体

29件 ∙ (4時間 39分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

4件

5.0

4件の受講レビュー

  • 미래 1인 개발자님의 프로필 이미지
    미래 1인 개발자

    受講レビュー 7

    平均評価 5.0

    5

    93% 受講後に作成

    이번에 배치처리의 꽃이라고 할 수 있는 Airflow에 대한 주제로 강의를 함께 준비한 토스에서 개발하고있는 개발자 입니다. AIrflow라는 서비스가 생각보다 많이 생소한 경우가 많지만, 서비스가 거대해질수록 이런 워크플로우 서비스는 굉장히 유용합니다. 대용량의 배치 처리를 처리하는데에 있어서 가장 우선시하여 고려되는 서비스이기 떄문입니다. 아직 여러분들이 이 Airflow를 학습 할 필요가 없는 환경이라도 이 강의에서 알려주는 다양한 관점과 개념들은 여러분들이 개발하고 공부하는 환경에 반드시 도움이 될 겁니다. 단순히 Airflow만을 학습하는 강의는 아니라고 생각을 해서요. 많은 관심 부탁드리고 다음 강의도 기대해주시기를 바라겠습니다. 감사합니다!!

    • 박종선님의 프로필 이미지
      박종선

      受講レビュー 1

      平均評価 5.0

      5

      62% 受講後に作成

      • a mi님의 프로필 이미지
        a mi

        受講レビュー 4

        平均評価 5.0

        5

        93% 受講後に作成

        써보지는 못했지만, 대용량 배처치러에 대한 견해를 배울 수 있는 좋은 강의라고 생각한비다. 강의 잘 봤습니다.

        • su gis님의 프로필 이미지
          su gis

          受講レビュー 4

          平均評価 5.0

          5

          100% 受講後に作成

          추석 명절 기간을 통해서 빠르게 한번 학습하고자 강의 수강하였습니다. 사실 큰 기대는 하지 않고 이런게 뭘까 해서 수강하게 되었는데 진짜 너무 많은 도움이 되었다고 생각합니다. Airflow뿐만 아니라 일반 프로그래밍 관점이나 개발자 관점에서도 많은것을 배울 수 있어습니다. 감사합니다.

          期間限定セール、あと8日日で終了

          ¥39,600

          50%

          ¥9,538

          Hongの他の講座

          知識共有者の他の講座を見てみましょう!

          似ている講座

          同じ分野の他の講座を見てみましょう!