강의

멘토링

커뮤니티

BEST
Data Science

/

Data Engineering

Apache Airflow を使用したシリコンバレーのエンジニア

ソフトウェア データ パイプラインを作成する際に最もよく使用されるオーケストレーターである Apache Airflow を学習できます。

難易度 初級

受講期間 無制限

  • altoformula
airflow
airflow
Big Data
Big Data
Data Engineering
Data Engineering
Python
Python
airflow
airflow
Big Data
Big Data
Data Engineering
Data Engineering
Python
Python

学習した受講者のレビュー

学習した受講者のレビュー

4.6

5.0

chocheetah

100% 受講後に作成

社内で既存のスケジューラを分離し、実行履歴などをうまく管理するための用途として、MWAAの導入を検討している中、該当講義を聞くことになりました。 airflowをどのように起動するのかわからないときは、コードを書いてローカルドッカー環境を設定し、DAGを作成しながらどのようなフローで使用するべきかを感じました。 運用環境で各プラットフォームに合わせてBest Practiceを探し出す過程は容易ではないでしょうが、公式文書を読んでいろいろ触れてみることができる基礎知識をよく習得することになったようです。ありがとうございます。

5.0

ground

35% 受講後に作成

データエンジニアは、どんなツールを使って、そのツールが何をしているのかを知ることができる講義のようです。走り続けます。いつも良い講義を作ってくれてありがとう

5.0

소연

100% 受講後に作成

仕事にうまく活用したくて講義を申し込んだ。基礎勉強をするのにちょうど適当だと思います。実習中心に進んでよかったです。

受講後に得られること

  • データ パイプラインの構築

  • Apache Airflow(アパッチ エアーフロー)

  • Apache Spark(アパッチ スパーク)の紹介

  • MinIO の紹介

  • TaskFlow API

  • Slack 統合

データパイプライン必須ツール、Airflow
シリコンバレーの開発者に学びましょう!

モダンなデータワークフロー管理、
Apache Airflowで📌

ビジネスで最もよく使われるワークフロー管理ツール:Apache Airflow

Airflow(エアフロー)の簡単な設定と使い方を学びましょう。

複雑な概念は、バック、Airflowの魅力的な世界に!

データ分析と処理タスクが複雑になり、タスクのスケジューリング、依存性管理、エラー処理などの問題がより重要になってきています。

この講義は、初めてAirflowに触れる皆さんのためにあらかじめ用意した講義です。

なぜApache Airflowを学ぶべきですか?

自動化されたワークフロー管理

Airflowは、時間をかけて自動的にタスクを実行および管理するための強力なスケジューリング機能を提供します。

依存性管理

複雑なデータワークフローでは、ジョブ間の依存関係を正確に管理する必要があります。

強力な監視と通知

タスクの実行中に、Airflowダッシュボードを使用してタスクの進行状況を監視できます。

拡張性と柔軟性

Airflowはさまざまなプラグインとライブラリをサポートし、さまざまなデータストア、タスク実行環境、および通知メカニズムと統合できます。

コミュニティとエコシステム

Airflowには活発なコミュニティと豊富なエコシステムがあり、問題解決に役立つ素晴らしいリソースがたくさんあります。


講義の特徴✨

✅難しい概念なしで簡単に!

実際のAirflowの使用過程に従い、簡単なデータワークフローを作ってみる実習中心講義!

講義中に気になったり理解していない部分がある場合は、いつでも質問してください。


学習内容📚

  • すべての講義資料は英語で行われています。
  • PDF講義資料とGithubコードを提供します。
クラウドソフトウェアアーキテクチャ Overview
データパイプラインオーケストレーターの紹介
Apache Airflowの紹介
Apache Airflowの重要なコンポーネントの紹介
各コンポーネントの詳細について
コードの詳細な分析

現職シリコンバレーエンジニアのノウハウをそのままお届けします!

私はYouTubeの「 ミックックエンジニア」とブランチ「 シリコンバレーのニュースと生活」を運営する現職のソフトウェアエンジニアです。やっています。


このような人がいるなら
今すぐ始めましょう。

💡

データエンジニア

データワークフローを自動化してスケジューリングして、データの品質と一貫性を維持します。

💡

データアナリスト

定期的なデータ更新やモデルの再学習作業などを処理してみてください。

💡

データ科学者

モデルのトレーニング、評価、配置予測などを自動化し、データサイエンスプロセスを効率的に管理します。

💡

システム管理者

ジョブの実行に対する透明性と信頼性を向上させることができます。

💡

データエンジニアリングと開発チーム

ETL (Extract、Transform、Load)操作、API呼び出しなど、さまざまな自動化タスクを実装できます。

💡

プロジェクトマネージャ

タスクの依存性、優先順位、予想実行時間などを設定することで、プロジェクトのスケジュールを効果的に調整できます。


予想される質問 Q&A 💬

Q. なぜApache Airflowを学ぶべきですか?

Apache Airflowはデータワークフロー管理ツールで、データパイプラインの自動化、スケジュール、監視に使用されます。

講義後半にはビッグデータ技術(Apache Spark)と連動する部分まで学ぶことができ、多くのパイプラインを管理するデータエンジニアなら大きな助けになるでしょう。

Q. 非専攻者も聞ける講義ですか?

非専攻者がPythonの基本を知っていて、データや作業のスケジュールワークフローを効率化したいなら、多くの助けになるでしょう。

Pythonが初めての場合は、YouTubeでPythonの基礎を学んだり、以下の講義を先に受講してください!

Q. 講義を聞く前に準備すべきことはありますか?

どうやらPythonでコードを作ってみると、基本的なPython講義はしません。


受講前の注意 📢

練習環境

  • オペレーティングシステムとバージョン(OS)
    • 講義はMacOSで行われますが、Python(Airflow自体がPythonライブラリである)があるオペレーティングシステムならどこでも練習できます。
  • 使用ツール
    • Python 3.7+
    • AirflowはApacheライセンスなので無料です。
  • PC仕様
    • CPU:2コア以上
    • メモリ:4GB以上
    • ディスク:10GB以上

選手の知識と注意

  • PythonとDockerに関する基本的な知識が必要です。 //inf.run/8eFCL ]
  • 質問があれば楽にしてください。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • データエンジニアリングに従事している方

  • データ エンジニアになりたい方

前提知識、
必要でしょうか?

  • Python

こんにちは
です。

20,556

受講生

1,015

受講レビュー

333

回答

4.8

講座評価

29

講座

한국에서 끝낼 거야? 영어로 세계 시장을 뚫어라! 🌍🚀

안녕하세요. UC Berkeley에서 💻 컴퓨터 공학(EECS)을 전공하고, 실리콘 밸리에서 15년 이상을 소프트웨어 엔지니어로 일해왔으며, 현재는 실리콘밸리 빅테크 본사에서 빅데이터와 DevOps를 다루는 Staff Software Engineer로 있습니다.

  • 🧭 실리콘 밸리의 혁신 현장에서 직접 배운 기술과 노하우를 온라인 강의를 통해 이제 여러분과 함께 나누고자 합니다.

  • 🚀 기술 혁신의 최전선에서 배우고 성장해 온 저와 함께, 여러분도 글로벌 무대에서 경쟁할 수 있는 역량을 키워보세요!

  • 🫡 똑똑하지는 않지만, 포기하지 않고 꾸준히 하면 뭐든지 이룰수 있다는 점을 꼭 말씀드리고 싶습니다. 항상 좋은 자료로 옆에서 도움을 드리겠습니다

 

カリキュラム

全体

33件 ∙ (4時間 10分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

52件

4.6

52件の受講レビュー

  • hgim967155182님의 프로필 이미지
    hgim967155182

    受講レビュー 5

    平均評価 4.8

    5

    61% 受講後に作成

    非専門家でも理解しやすいように説明してくださるので嬉しいです。 Airflowを学ぶのがとても楽しいです!

    • altoformula
      知識共有者

      Gong16さん、こんにちは。 お忙しい中、素敵なレビューを残していただきありがとうございます。分かりやすかったとのことで安心いたしました!講義にご満足いただけたようで、とても嬉しいです。

  • paulmoon008308님의 프로필 이미지
    paulmoon008308

    受講レビュー 111

    平均評価 4.9

    5

    12% 受講後に作成

    • altoformula
      知識共有者

      こんにちは、スプリング様 お時間を割いて素敵なレビューを残していただき、ありがとうございます!

  • sanghyunwi8994님의 프로필 이미지
    sanghyunwi8994

    受講レビュー 1

    平均評価 5.0

    5

    100% 受講後に作成

    • altoformula
      知識共有者

      こんにちは、ウィ・サンヒョン様、 お時間を割いて素敵なレビューをいただき、本当にありがとうございます。

  • jhlee50877003님의 프로필 이미지
    jhlee50877003

    受講レビュー 3

    平均評価 5.0

    5

    30% 受講後に作成

    • altoformula
      知識共有者

      こんにちは、jhlee5087さん、 お時間を割いてSparkの講座も受講していただき、Airflowも受講していただき、良いレビューを残していただきありがとうございます。

  • srdn452928님의 프로필 이미지
    srdn452928

    受講レビュー 12

    平均評価 5.0

    5

    31% 受講後に作成

    • altoformula
      知識共有者

      こんにちは、イ・ウンリョン様、 お時間を割いて良いレビューを残していただき、ありがとうございます。

¥8,206

altoformulaの他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!