강의

멘토링

커뮤니티

Programming

/

Back-end

Toss開発者と共に学ぶData Workflow Management基盤の大容量データ処理設計パターン

Apache Airflowを活用したデータパイプライン構築過程を基礎から実戦まで学習します。Airflowの核心概念とアーキテクチャを理解し、動的DAG、並列処理、分散処理、Custom Operatorなど実務でよく活用される高級設計パターンを実習を通じて身につけます。PythonとDockerで実習環境を構成し、実際のワークフローを設計し運営できる実戦力を育てます。

難易度 初級

受講期間 無制限

  • Hong
Big Data
Big Data
Docker
Docker
docker-compose
docker-compose
airflow
airflow
Big Data
Big Data
Docker
Docker
docker-compose
docker-compose
airflow
airflow

学習した受講者のレビュー

学習した受講者のレビュー

4.8

5.0

미래 1인 개발자

93% 受講後に作成

今回、バッチ処理の花と言えるAirflowをテーマにした講義を一緒に準備した、Tossで開発している開発者です。 Airflowというサービスは思ったより馴染みがない場合が多いですが、サービスが巨大になるほど、このようなワークフローサービスは非常に有用です。大容量のバッチ処理を処理するにあたって最優先で考慮されるサービスだからです。 まだ皆さんがこのAirflowを学習する必要がない環境であっても、この講義でお伝えする様々な観点と概念は、皆さんが開発し勉強する環境に必ず役立つでしょう。単純にAirflowだけを学習する講義ではないと思っているからです。 たくさんの関心をお願いし、次の講義も期待していただければと思います。 ありがとうございます!!

5.0

dellahong

62% 受講後に作成

Airflowを3年間使用していますが、データ処理の規模が大きくなるにつれて頻繁にエラーが発生し始め、他の会社ではどのような方式で使用しているのか気になって講義を受講することになりました。とても多くの助けになっています!実務的にAirflowの概念と実習があるので、理解して適用するのにとても役立ちます :)

5.0

텐버거!

100% 受講後に作成

私が初めて見て、見ることができなかった観点からの多様な概念を教えてくれる意味深い講義だと思います。内容自体が音...何というか、私の見識を広げてくれる内容だったと思います。良い講義をありがとうございました。 テンバガー!

受講後に得られること

  • Apache Airflowの概念と必要性の理解

  • Airflow Core Components 構造把握

  • 動的DAG(Dynamic DAG)設計方法

  • TaskGroupと依存性管理パターン

  • 並列処理および大容量データ再処理戦略

  • Custom Operatorとそれに伴うカプセル化、デコレーター活用

  • Python & Docker ベースの実習環境構築

大容量データのバッチ処理パイプラインにはどのようなサービスを活用すると良いでしょうか?🤔

❗この内容は実際の会話内容です。❗

😁 Toss : Hongさん、airflowって知ってる??

😄 Hong : 知ってはいるけど、使ったことはないよ。なんで?

😁 Toss : この前作ったworkflow講座があるじゃない、それを見てもしかしてairflowについても扱ったらどうかなと思って.. 私はairflowしか使ったことないから

😄Hong:でも私airflowは使ったことないから、よく分からない、どうすればいいの

😁 Toss : 大丈夫、私が実務で今使っているから、私が主導的に教えてあげられる。弟子のために身を燃やすよ

😄 Hong : 😆😆😆😆 コンセプトよく捉えたね。分かった。でもこれって必ず使わなきゃいけないの??一般的なバッチ処理やcronジョブ処理と実際大きく違いを感じられないんだけど?

😁 Toss : そんな考えを持つこと自体が airflowを使うべき理由になるんだよ.. airflowとバッチ処理やクロンジョブとは一部違いがあるし、簡単に言えばワークフローをなぜ使うべき理由と同じで、ビッグデータも存在するじゃん。

先ほどの会話でTossシニア開発者が最後に言った言葉の意味は何でしょうか??🤔

データ処理モジュールを構成するのに必ずAirflowが必要なの??なぜ必ず使わなければならないの??私が考えるには、一般的なバッチ処理モジュールやcronジョブで実装すれば良いと思うんだけど??

もしかしてこのような考えをお持ちでしょうか??そうであれば、該当講義を通じてAirflowを活用し導入する過程を学習されると、キャリア面で大きな助けになるでしょう。


答えはワークフロー管理にあります。データ抽出、加工、処理まで、この一連のプロセスがどのように安定的に流れ、パイプラインのように順次的に依存関係を持って管理できるでしょうか??この一連のプロセスが一つのプラットフォームを通じてすべてサポートされたらどうでしょうか??


理論だけを羅列する退屈な講義ではなく、動作する過程を一緒に見ながらワークフロー基盤の大容量データパイプライン設計について核心機能を完璧に攻略する実戦型ガイドとして準備いたしました。🚀

この講義の特徴

📌 約30個の図表、講義要約ファイルによる充実した講義構成

* 単純に言葉だけで説明する講義ではなく、実際のソースコード、ダイアグラム、シーケンス図、さらに講義内容に関する簡単な要約ファイルも提供しています。

📌 理論60%、実習40%、完璧なテスト環境を提供

* 単純に理論だけを羅列する講義ではなく、実際に皆さんが目で確認しながら学んだ内容を学習できる軽量な環境を提供し、この環境で実習も柔軟にテストできるよう構成いたします。

過去の講義で実証された専門性(9.27基準)👨‍🏫

🧑‍🎓 3075.0

🧑‍🎓3794.9

🧑‍🎓 4834.7

🧑‍🎓 2394.8

講義ではこのような内容を扱っています。🧩

* Airflowとは何ですか?

*Batch Job & Cron Job Vs Airflow

*Apache Airflowの欠点と導入におけるアンチパターン

* 全体的なCore Components Architectureの紹介

* WebServer Components Deep Ei

* Scheduler Components Deep Dive

* Executorコンポーネント詳細解説

* MetaDataDB コンポーネント詳細解説

* 動的DAG生成パターン [ Dynamic DAG ]

* Cross-DAG Dependenciesとデータ依存性

* TaskGroupを活用した複雑なワークフロー設計

* 再利用とカプセル化のためのCustom Operator

*Docker、docker-composeを活用した軽量環境構築

* Airflowの並列処理と分散処理戦略

* Slackを活用したNotification

* CeleryExecutorを活用したデータ分散処理

この講義が特別な理由

📌50枚のクーポンを提供するイベント

講義のアーリーバード割引期間にご購入いただいた方の中から50名を選別し、それに応じて50%クーポンを1つずつ提供させていただきます

一緒に見ると良い資料 🚀

この講義を作った人🤭

  • 非専攻者としてスタートし、現在は板橋でプラットフォームバックエンド開発者として勤務している開発者

  • 現実的な開発方式と開発論をお伝えすることが目標であり、一人ではなく周りの能力ある知人たちと一緒に講義を作る知識共有者

  • 熱心に活動したおかげでInflearnでインタビューを行った知識共有者


  • 地方でコンピュータ工学を専攻し、ネイバーで開発をした後、現在はトスでバックエンド開発をしているサーバー開発者

  • いつも時間が足りなくてホンによく怒られる開発者...

  • 経済的自由を実現したく、1人開発を夢見ている開発者

参考事項

実習環境

  • python3, pip3

    • Python 3.13.2

    • 25.0 from /opt/homebrew/lib/python3.13/site-packages/pip (python 3.13)

  • docker, docker-compose

    • Docker version 28.0.0, build f9ced58158

    • Docker Compose version 2.33.1

  • OS

    • Apple M3 Air

該当講義は、初期にご購入いただく方により多くの割引率を提供するため、時間が経つにつれて割引率が調整される予定です。ご参考ください。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • 実務で大規模データを扱うサーバー/データエンジニア

  • データパイプライン設計と運営経験を積みたい開発者

  • Airflowを導入または高度化しようとする企業の技術担当者

  • 分散処理およびワークフロー自動化に関心のあるアーキテクト

  • プロダクション環境で安定的なデータプラットフォームを構築したいチームリード/シニア開発者

こんにちは
です。

5,972

受講生

391

受講レビュー

127

回答

4.7

講座評価

22

講座

自己紹介

家でゴロゴロしていた時に開発に興味を持ち、独学を始め、現在は板橋(パンギョ)でプラットフォームサーバーの開発を担当しています。私が学んできた方法や、実務で直面しうる様々な問題とその解決策を皆さんに提供したいという思いから、知識共有者としての活動を続けています。

 

講義は私一人の知識だけで作られるものではありません。すべての講義には、共に作り上げてくださる方々がいます。

知識共有者の経歴

[前] サンドボックスIP関連ブロックチェーン開発者

[前] メタバースバックエンド開発者

[] 板橋(パンギョ)でベテランになりつつあるサーバー開発者

NAVERで開発を担当しているAnde知識共有者の経歴 [前] サンドボックスIP関連ブロックチェーン開発者 [前] メタバース・バックエンド開発者 [現] パンギョ(板橋)で経験を積んでいるサーバー開発者

インタビュー履歴

その他のお問い合わせ

  • unduck2022@gmail.com

カリキュラム

全体

29件 ∙ (4時間 39分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

15件

4.8

15件の受講レビュー

  • tttos님의 프로필 이미지
    tttos

    受講レビュー 8

    平均評価 5.0

    5

    93% 受講後に作成

    今回、バッチ処理の花と言えるAirflowをテーマにした講義を一緒に準備した、Tossで開発している開発者です。 Airflowというサービスは思ったより馴染みがない場合が多いですが、サービスが巨大になるほど、このようなワークフローサービスは非常に有用です。大容量のバッチ処理を処理するにあたって最優先で考慮されるサービスだからです。 まだ皆さんがこのAirflowを学習する必要がない環境であっても、この講義でお伝えする様々な観点と概念は、皆さんが開発し勉強する環境に必ず役立つでしょう。単純にAirflowだけを学習する講義ではないと思っているからです。 たくさんの関心をお願いし、次の講義も期待していただければと思います。 ありがとうございます!!

    • jhong
      知識共有者

      💜

  • paulmoon008308님의 프로필 이미지
    paulmoon008308

    受講レビュー 111

    平均評価 4.9

    5

    21% 受講後に作成

    • iamzzoon0226님의 프로필 이미지
      iamzzoon0226

      受講レビュー 10

      平均評価 5.0

      5

      31% 受講後に作成

      • dellahong님의 프로필 이미지
        dellahong

        受講レビュー 1

        平均評価 5.0

        5

        62% 受講後に作成

        Airflowを3年間使用していますが、データ処理の規模が大きくなるにつれて頻繁にエラーが発生し始め、他の会社ではどのような方式で使用しているのか気になって講義を受講することになりました。とても多くの助けになっています!実務的にAirflowの概念と実習があるので、理解して適用するのにとても役立ちます :)

        • jhong
          知識共有者

          dellahongさん、良い評価をありがとうございます。実務者からの評価だなんて、より意味深いですね。今後も頑張ります!

      • youngba8935643님의 프로필 이미지
        youngba8935643

        受講レビュー 7

        平均評価 5.0

        5

        100% 受講後に作成

        私が初めて見て、見ることができなかった観点からの多様な概念を教えてくれる意味深い講義だと思います。内容自体が音...何というか、私の見識を広げてくれる内容だったと思います。良い講義をありがとうございました。 テンバガー!

        • jhong
          知識共有者

          こんにちは、テンバーガー!さん、良いレビューを残していただき、ありがとうございます!!今後もより良いコンテンツを提供できるよう努力いたします!!

      期間限定セール、あと7日日で終了

      ¥1,233,643

      25%

      ¥9,777

      Hongの他の講座

      知識共有者の他の講座を見てみましょう!

      似ている講座

      同じ分野の他の講座を見てみましょう!