inflearn logo
知識共有
inflearn logo

Apache Airflow を使用したシリコンバレーのエンジニア

ソフトウェア データ パイプラインを作成する際に最もよく使用されるオーケストレーターである Apache Airflow を学習できます。

難易度 初級

受講期間 無制限

airflow
airflow
Big Data
Big Data
Data Engineering
Data Engineering
Python
Python
airflow
airflow
Big Data
Big Data
Data Engineering
Data Engineering
Python
Python

学習した受講者のレビュー

4.6

5.0

chocheetah

100% 受講後に作成

社内で既存のスケジューラを分離し、実行履歴などをうまく管理するための用途として、MWAAの導入を検討している中、該当講義を聞くことになりました。 airflowをどのように起動するのかわからないときは、コードを書いてローカルドッカー環境を設定し、DAGを作成しながらどのようなフローで使用するべきかを感じました。 運用環境で各プラットフォームに合わせてBest Practiceを探し出す過程は容易ではないでしょうが、公式文書を読んでいろいろ触れてみることができる基礎知識をよく習得することになったようです。ありがとうございます。

5.0

ground

35% 受講後に作成

データエンジニアは、どんなツールを使って、そのツールが何をしているのかを知ることができる講義のようです。走り続けます。いつも良い講義を作ってくれてありがとう

5.0

소연

100% 受講後に作成

仕事にうまく活用したくて講義を申し込んだ。基礎勉強をするのにちょうど適当だと思います。実習中心に進んでよかったです。

受講後に得られること

  • データ パイプラインの構築

  • Apache Airflow(アパッチ エアーフロー)

  • Apache Spark(アパッチ スパーク)の紹介

  • MinIO の紹介

  • TaskFlow API

  • Slack 統合

データパイプライン必須ツール、Airflow
シリコンバレーの開発者に学びましょう!

モダンなデータワークフロー管理、
Apache Airflowで📌

ビジネスで最もよく使われるワークフロー管理ツール:Apache Airflow

Airflow(エアフロー)の簡単な設定と使い方を学びましょう。

複雑な概念は、バック、Airflowの魅力的な世界に!

データ分析と処理タスクが複雑になり、タスクのスケジューリング、依存性管理、エラー処理などの問題がより重要になってきています。

この講義は、初めてAirflowに触れる皆さんのためにあらかじめ用意した講義です。

なぜApache Airflowを学ぶべきですか?

自動化されたワークフロー管理

Airflowは、時間をかけて自動的にタスクを実行および管理するための強力なスケジューリング機能を提供します。

依存性管理

複雑なデータワークフローでは、ジョブ間の依存関係を正確に管理する必要があります。

強力な監視と通知

タスクの実行中に、Airflowダッシュボードを使用してタスクの進行状況を監視できます。

拡張性と柔軟性

Airflowはさまざまなプラグインとライブラリをサポートし、さまざまなデータストア、タスク実行環境、および通知メカニズムと統合できます。

コミュニティとエコシステム

Airflowには活発なコミュニティと豊富なエコシステムがあり、問題解決に役立つ素晴らしいリソースがたくさんあります。


講義の特徴✨

✅難しい概念なしで簡単に!

実際のAirflowの使用過程に従い、簡単なデータワークフローを作ってみる実習中心講義!

講義中に気になったり理解していない部分がある場合は、いつでも質問してください。


学習内容📚

  • すべての講義資料は英語で行われています。
  • PDF講義資料とGithubコードを提供します。
クラウドソフトウェアアーキテクチャ Overview
データパイプラインオーケストレーターの紹介
Apache Airflowの紹介
Apache Airflowの重要なコンポーネントの紹介
各コンポーネントの詳細について
コードの詳細な分析

現職シリコンバレーエンジニアのノウハウをそのままお届けします!

私はYouTubeの「 ミックックエンジニア」とブランチ「 シリコンバレーのニュースと生活」を運営する現職のソフトウェアエンジニアです。やっています。


このような人がいるなら
今すぐ始めましょう。

💡

データエンジニア

データワークフローを自動化してスケジューリングして、データの品質と一貫性を維持します。

💡

データアナリスト

定期的なデータ更新やモデルの再学習作業などを処理してみてください。

💡

データ科学者

モデルのトレーニング、評価、配置予測などを自動化し、データサイエンスプロセスを効率的に管理します。

💡

システム管理者

ジョブの実行に対する透明性と信頼性を向上させることができます。

💡

データエンジニアリングと開発チーム

ETL (Extract、Transform、Load)操作、API呼び出しなど、さまざまな自動化タスクを実装できます。

💡

プロジェクトマネージャ

タスクの依存性、優先順位、予想実行時間などを設定することで、プロジェクトのスケジュールを効果的に調整できます。


予想される質問 Q&A 💬

Q. なぜApache Airflowを学ぶべきですか?

Apache Airflowはデータワークフロー管理ツールで、データパイプラインの自動化、スケジュール、監視に使用されます。

講義後半にはビッグデータ技術(Apache Spark)と連動する部分まで学ぶことができ、多くのパイプラインを管理するデータエンジニアなら大きな助けになるでしょう。

Q. 非専攻者も聞ける講義ですか?

非専攻者がPythonの基本を知っていて、データや作業のスケジュールワークフローを効率化したいなら、多くの助けになるでしょう。

Pythonが初めての場合は、YouTubeでPythonの基礎を学んだり、以下の講義を先に受講してください!

Q. 講義を聞く前に準備すべきことはありますか?

どうやらPythonでコードを作ってみると、基本的なPython講義はしません。


受講前の注意 📢

練習環境

  • オペレーティングシステムとバージョン(OS)
    • 講義はMacOSで行われますが、Python(Airflow自体がPythonライブラリである)があるオペレーティングシステムならどこでも練習できます。
  • 使用ツール
    • Python 3.7+
    • AirflowはApacheライセンスなので無料です。
  • PC仕様
    • CPU:2コア以上
    • メモリ:4GB以上
    • ディスク:10GB以上

選手の知識と注意

  • PythonとDockerに関する基本的な知識が必要です。 //inf.run/8eFCL ]
  • 質問があれば楽にしてください。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • データエンジニアリングに従事している方

  • データ エンジニアになりたい方

前提知識、
必要でしょうか?

  • Python

こんにちは
altoformulaです。

23,728

受講生

1,282

受講レビュー

353

回答

4.8

講座評価

31

講座

韓国で終わらせるつもり?英語で世界市場を突き破れ! 🌍🚀

こんにちは。UC Berkeleyで💻コンピューター工学(EECS)を専攻し、シリコンバレーで15年以上ソフトウェアエンジニアとして働いてきました。現在はシリコンバレーのビッグテック本社でビッグデータとDevOpsを担当するStaff Software Engineerを務めています。 working with Big Data and DevOps at a Big Tech headquarters in Silicon Valley.

  • 🧭 シリコンバレーのイノベーションの現場で直接学んだ技術とノウハウを、オンライン講義を通じて皆さんと分かち合いたいと思います。

  • 🚀 技術革新の最前線で学び成長してきた私と共に、皆さんもグローバルな舞台で活躍できる力を身につけましょう!

  • 🫡 頭は良くありませんが、諦めずにコツコツと続ければ何事も成し遂げられるということを、ぜひお伝えしたいです。いつも役立つ資料で、そばからサポートさせていただきます。

 

もっと見る

カリキュラム

全体

33件 ∙ (4時間 10分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

54件

4.6

54件の受講レビュー

  • hgim967155182님의 프로필 이미지
    hgim967155182

    受講レビュー 5

    平均評価 4.8

    5

    61% 受講後に作成

    非専門家でも理解しやすいように説明してくださるので嬉しいです。 Airflowを学ぶのがとても楽しいです!

    • altoformula
      知識共有者

      Gong16さん、こんにちは。 お忙しい中、素敵なレビューを残していただきありがとうございます。分かりやすかったとのことで安心いたしました!講義にご満足いただけたようで、とても嬉しいです。

  • bboradoli님의 프로필 이미지
    bboradoli

    受講レビュー 1

    平均評価 5.0

    5

    28% 受講後に作成

    単なる内容伝達ではなく、Airflow全体の流れを辿っていくような感じです。

    • altoformula
      知識共有者

      こんにちは、bboradoli様。 お時間を割いて、良いレビューをお寄せいただきありがとうございます。

  • galoistheory6041님의 프로필 이미지
    galoistheory6041

    受講レビュー 39

    平均評価 5.0

    5

    31% 受講後に作成

    いいですね

    • altoformula
      知識共有者

      こんにちはpdyさん、 お時間を割いて良い評価をしていただき、ありがとうございます。

  • sewontheplash5051님의 프로필 이미지
    sewontheplash5051

    受講レビュー 2

    平均評価 5.0

    5

    31% 受講後に作成

    以前にSparkの講義を聞いて、引き続き聞いているのですが、理論と実習まで充実しています。大学の時によく教えてくださる教授の講義を聞いているようです、有用なコンテンツありがとうございます。

    • altoformula
      知識共有者

      Ophelie様、 お時間を割いての素敵なレビュー、誠にありがとうございます。大変励みになります!

  • ohhunmi249698님의 프로필 이미지
    ohhunmi249698

    受講レビュー 1

    平均評価 2.0

    2

    38% 受講後に作成

    この授業は期待していたものとは異なり、完走した時に簡単なプロジェクトが完成するものではありません。 そして最も重要な点は、飛び飛びに進む部分が多いと感じられます。 例えば、ダウンロードしろという話もなかったのに突然postgresを使用して講義を止めてインストール方法を調べてエラーが出たら直して、、 突然dbeaverを起動してクエリ文を投げながらテーブル作成するのを見て再び慌ててdbeaverをダウンロードして 講義も昔の映像が混ざっているため映像に出てきた文法をそのまま使ってみてもpythonとairflowのバージョンが違ってエラーが出るのを解決できずに進度が進められずにいます。 もちろん提供していただいた例題ファイルにpythonバージョンairflowバージョンが書かれてはいるものの何が問題なのかは分かりませんね。 専攻生の私でも少し手に余るのに非専攻生の方々はいかがでしょうか。 一旦講義は最後まで聞いてみて受講評は修正してみます。

    • altoformula
      知識共有者

      こんにちは、金ヨンホ様、 お忙しい中、貴重なフィードバックをいただき、ありがとうございます。もう一度、講義を全て確認し、補足資料があれば追加させていただきます。

altoformulaの他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!

新規会員登録で25%OFF

¥6,402

25%

¥8,542