Tossの開発者とともに学ぶ、Data Workflow Managementを基盤とした大容量データ処理の設計パターン

Apache Airflowを活用したデータパイプラインの構築方法を、基礎から実践まで学びます。Airflowの主要概念とアーキテクチャを理解し、動的DAG、並列処理、分散処理、Custom Operatorなど、実務で頻繁に活用される高度な設計パターンを、実習を通して身につけます。PythonとDockerで実習環境を構築し、実際のワークフローを設計・運用できる実践力を養います。

難易度 初級

受講期間 無制限

Big Data
Big Data
Docker
Docker
docker-compose
docker-compose
airflow
airflow
Big Data
Big Data
Docker
Docker
docker-compose
docker-compose
airflow
airflow

学習した受講者のレビュー

4.7

5.0

미래 1인 개발자

93% 受講後に作成

今回、バッチ処理の花と言えるAirflowをテーマにした講義を一緒に準備した、Tossで開発している開発者です。 Airflowというサービスは思ったより馴染みがない場合が多いですが、サービスが巨大になるほど、このようなワークフローサービスは非常に有用です。大容量のバッチ処理を処理するにあたって最優先で考慮されるサービスだからです。 まだ皆さんがこのAirflowを学習する必要がない環境であっても、この講義でお伝えする様々な観点と概念は、皆さんが開発し勉強する環境に必ず役立つでしょう。単純にAirflowだけを学習する講義ではないと思っているからです。 たくさんの関心をお願いし、次の講義も期待していただければと思います。 ありがとうございます!!

5.0

dellahong

62% 受講後に作成

Airflowを3年間使用していますが、データ処理の規模が大きくなるにつれて頻繁にエラーが発生し始め、他の会社ではどのような方式で使用しているのか気になって講義を受講することになりました。とても多くの助けになっています!実務的にAirflowの概念と実習があるので、理解して適用するのにとても役立ちます :)

5.0

텐버거!

100% 受講後に作成

私が初めて見て、見ることができなかった観点からの多様な概念を教えてくれる意味深い講義だと思います。内容自体が音...何というか、私の見識を広げてくれる内容だったと思います。良い講義をありがとうございました。 テンバガー!

受講後に得られること

  • Apache Airflowの概念と必要性を理解する

  • Airflow Core Componentsの構造を把握する

  • 動的DAG(Dynamic DAG)の設計方法

  • TaskGroupと依存関係管理パターン

  • 並列処理および大容量データの再処理戦略

  • Custom Operatorとそれに伴うカプセル化、デコレーターの活用

  • Python & Dockerベースの実習環境構築

大容量データのバッチ処理に関するパイプラインには、どのサービスを活用するとよいでしょうか? 🤔

❗これは実際の会話内容です。❗

😁 Toss:Hong、airflowって知ってる??

😄 Hong:知ってはいるけど、使ったことはないよ。どうして?

😁 Toss:前に作ったworkflow講義があるじゃん。それを見て、もしかしたらairflowについても扱ったらどうかなと思って……。俺はairflowしか使ったことがないんだよね。

😄 Hong:でも僕はairflowを使ったことないし、よく分からない。どうすればいいの?

😁 Toss : 大丈夫、今も実務で使ってるから、俺が主導して教えられるよ。弟子のために身を燃やしてやる

😄 Hong:ㅋㅋㅋㅋコンセプトをしっかりつかんでるね。わかった。でも、これって絶対に使わなきゃいけないの? 普通のバッチ処理やcronジョブ処理と、実際のところあまり違いを感じないんだけど?

😁 Toss:そういう考えを持つこと自体がairflowを使うべき理由になるんだよね……airflowとバッチ処理やクロンジョブとは一部違いがあるし、端的に言えばワークフローを使うべき理由と同じで、ビッグデータもあるわけじゃん。

先ほどの会話で、Tossのシニア開発者が最後に言ったことには、どのような意味があるのでしょうか??🤔

データ処理モジュールを構成するのに、本当にAirflowが必要なのか?なぜ必ず使わなければならないのか?私が思うには、一般的なバッチ処理モジュールやcronジョブを使って実装すればよさそうだが?

もしかして、このように考えたことはありませんか?? そうであれば、この講義を通してAirflowを活用・導入するプロセスを学んでみると、キャリア面で大きな助けになるでしょう。


答えはワークフロー管理にあります。データの抽出、加工、処理まで、この一連のプロセスをどのように安定して進行させ、パイプラインのように順序立てて依存関係を管理できるでしょうか??この一連のプロセスが、1つのプラットフォームを通じてすべてサポートされるとしたらどうでしょうか??


理論だけを並べる退屈な講義ではなく、実際に動作する過程を一緒に見ながら、ワークフローベースの大規模データパイプライン設計における主要機能を完全に習得できる実践的なガイドとしてご用意しました。 🚀

この講義の特徴⚡

📌 30個ほどのダイアグラムと講義要約ファイルを含む充実した講義構成

* 단순히 말만으로 설명하는 강의가 아니라, 실제 소스코드, 다이어그램, 시퀀스그램, 추가로 강의 내용에 대한 간단한 요약본 파일도 제공해 드리고 있습니다.

📌 理論60%、実習40%、完璧なテスト環境を提供

* 単に理論だけを並べる講義ではなく、実際に皆さんが目で確認しながら学んだ内容を身につけられる軽量な環境を提供し、その環境で実習も柔軟にテストできるよう構成しています。

以前の講義を通じて証明された専門性(9.27時点)👨‍🏫 

🧑‍🎓 307 ⭐ 5.0

🧑‍🎓379 ⭐ 4.9

🧑‍🎓 483 ⭐ 4.7

🧑‍🎓 239 ⭐ 4.8

講義ではこのような内容を扱っています。🧩

* Airflowとは?

*バッチジョブ & Cronジョブ vs Airflow

*Apache Airflowの欠点と導入におけるアンチパターン

* 全体的なCore Components Architectureの紹介

* WebServerコンポーネント詳細解説

* Schedulerコンポーネントの詳細

* Executorコンポーネントの詳細解説

* MetaDataDBコンポーネントの詳細解説

* 動的DAG生成パターン [ Dynamic DAG ]

* Cross-DAG Dependenciesとデータ依存関係

* TaskGroupを活用した複雑なワークフロー設計

* 再利用とカプセル化のためのカスタムオペレーター

*Docker、docker-composeを活用した軽量な環境構築

* Airlfowの並列処理と分散処理戦略

* Slackを活用した通知

* CeleryExecutorを活用したデータ分散処理

一緒に見ると良い資料 🚀

この講義を作った人🤭

  • 非専攻出身で、現在は板橋でプラットフォームバックエンド開発者として勤務している開発者

  • 現実的な開発手法と開発論をお伝えすることを目標としており、一人ではなく、周囲の優秀な知人たちとともに講義を作る知識共有者

  • 熱心に活動したおかげで、インフランでインタビューを受けた知識共有者


  • 地方でコンピューター工学を専攻し、NAVERで開発を行った後、現在はTossでバックエンド開発をしているサーバー開発者

  • いつも時間が足りず、ホンにたくさん叱られている開発者…

  • 経済的自由を実現したく、個人開発を夢見ている開発者

参考事項

実習環境

  • python3、pip3

    • Python 3.13.2

    • 25.0 from /opt/homebrew/lib/python3.13/site-packages/pip (python 3.13)

  • docker、docker-compose

    • Docker version 28.0.0, build f9ced58158

    • Docker Compose version 2.33.1

  • OS

    • Apple M3 Air

こちらの講義は、早期にご購入いただく方により高い割引率をご提供するため、時間の経過に伴い割引率が調整される予定です。あらかじめご了承ください。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • 実務で大規模データを扱うサーバー/データエンジニア

  • データパイプラインの設計と運用経験を積みたい開発者

  • Airflowの導入または高度化を検討している企業の技術担当者

  • 分散処理およびワークフロー自動化に関心のあるアーキテクト

  • 本番環境で安定したデータプラットフォームを構築したいチームリード/シニア開発者

こんにちは
Hongです。

インフラン認証

キャリア認証

10,336

受講生

645

受講レビュー

171

回答

4.8

講座評価

34

講座

家でだらだら過ごしていたところ、開発に興味を持ち勉強を始め、現在は板橋(パンギョ)でプラットフォームサーバーの開発を担当しています。私が勉強してきた方法や、実務で直面する可能性のある様々な問題点とその解決策を皆さんに提供したいと思い、知識共有者としての活動を続けています。

 

講義は私一人の知識だけで作られるものではありません。すべての講義には、共に作り上げてくださる方々がいます。

 

[知識共有者の経歴]

[前] サンドボックスIP関連ブロックチェーン開発者

[前] メタバースバックエンドエンジニア

[現] 板橋(パンギョ)でベテランになりつつあるサーバー開発者

 

[インタビュー履歴]

[その他のお問い合わせ]

[公式サイト]

もっと見る

カリキュラム

全体

29件 ∙ (4時間 39分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

20件

4.7

20件の受講レビュー

  • miaaade9585868님의 프로필 이미지
    miaaade9585868

    受講レビュー 9

    ∙

    平均評価 5.0

    5

    93% 受講後に作成

    使ってみることはできませんでしたが、大容量バッチ処理に対する見解を学ぶことができる良い講義だと思います。講義よく見ました。

    • jhong
      知識共有者

      こんにちは、a miさん、良いレビューを残していただきありがとうございます!!今後もより良い講義を提供できるよう努力いたします。良い一日をお過ごしください!

  • ho6227574978님의 프로필 이미지
    ho6227574978

    受講レビュー 9

    ∙

    平均評価 5.0

    5

    90% 受講後に作成

    良い講義をありがとうございます。講師の方の講義でSpring、Java以外の他の言語を使われるのは初めて見るような気がします。それでも大きく不便な部分なく良く見ることができ、python言語をもちろん知っていればより見やすいとは思いますが、単純にAirflowを活用してテストしてみて、率直に言って味見をしたいなら別に知らなくても良い講義のような気がします。 今回も本当にとても良い講義をありがとうございます。講師の方もだんだん講義の実力も成長し、それに伴って私も一緒に成長しているような気がして誇らしいですね😊😊次回も良いテーマでよろしくお願いいたします!

    • jhong
      知識共有者

      こんにちは、Jios Hoさん、レビューを残していただきありがとうございます。最近は言語に対する制約が少なくなる傾向にあるようですね。そこで今回は少し特徴のある講義を一度準備してみました。ありがとうございます!

  • tttos님의 프로필 이미지
    tttos

    受講レビュー 8

    ∙

    平均評価 5.0

    5

    93% 受講後に作成

    今回、バッチ処理の花と言えるAirflowをテーマにした講義を一緒に準備した、Tossで開発している開発者です。 Airflowというサービスは思ったより馴染みがない場合が多いですが、サービスが巨大になるほど、このようなワークフローサービスは非常に有用です。大容量のバッチ処理を処理するにあたって最優先で考慮されるサービスだからです。 まだ皆さんがこのAirflowを学習する必要がない環境であっても、この講義でお伝えする様々な観点と概念は、皆さんが開発し勉強する環境に必ず役立つでしょう。単純にAirflowだけを学習する講義ではないと思っているからです。 たくさんの関心をお願いし、次の講義も期待していただければと思います。 ありがとうございます!!

    • jhong
      知識共有者

      💜

  • youngba8935643님의 프로필 이미지
    youngba8935643

    受講レビュー 10

    ∙

    平均評価 5.0

    5

    100% 受講後に作成

    私が初めて見て、見ることができなかった観点からの多様な概念を教えてくれる意味深い講義だと思います。内容自体が音...何というか、私の見識を広げてくれる内容だったと思います。良い講義をありがとうございました。 テンバガー!

    • jhong
      知識共有者

      こんにちは、テンバーガー!さん、良いレビューを残していただき、ありがとうございます!!今後もより良いコンテンツを提供できるよう努力いたします!!

  • dellahong님의 프로필 이미지
    dellahong

    受講レビュー 1

    ∙

    平均評価 5.0

    5

    62% 受講後に作成

    Airflowを3年間使用していますが、データ処理の規模が大きくなるにつれて頻繁にエラーが発生し始め、他の会社ではどのような方式で使用しているのか気になって講義を受講することになりました。とても多くの助けになっています!実務的にAirflowの概念と実習があるので、理解して適用するのにとても役立ちます :)

    • jhong
      知識共有者

      dellahongさん、良い評価をありがとうございます。実務者からの評価だなんて、より意味深いですね。今後も頑張ります!

Hongの他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!

期間限定セール、あと15:33:27日で終了

¥37,730

30%

¥6,784