Apache Airflow を䜿甚したシリコンバレヌの゚ンゞニア

゜フトりェア デヌタ パむプラむンを䜜成する際に最もよく䜿甚されるオヌケストレヌタヌである Apache Airflow を孊習できたす。

難易床 初玚

受講期間 無制限

airflow
airflow
Big Data
Big Data
Data Engineering
Data Engineering
Python
Python
airflow
airflow
Big Data
Big Data
Data Engineering
Data Engineering
Python
Python

孊習した受講者のレビュヌ

孊習した受講者のレビュヌ

4.6

5.0

chocheetah

100% 受講埌に䜜成

瀟内で既存のスケゞュヌラを分離し、実行履歎などをうたく管理するための甚途ずしお、MWAAの導入を怜蚎しおいる䞭、該圓講矩を聞くこずになりたした。 airflowをどのように起動するのかわからないずきは、コヌドを曞いおロヌカルドッカヌ環境を蚭定し、DAGを䜜成しながらどのようなフロヌで䜿甚するべきかを感じたした。 運甚環境で各プラットフォヌムに合わせおBest Practiceを探し出す過皋は容易ではないでしょうが、公匏文曞を読んでいろいろ觊れおみるこずができる基瀎知識をよく習埗するこずになったようです。ありがずうございたす。

5.0

ground

35% 受講埌に䜜成

デヌタ゚ンゞニアは、どんなツヌルを䜿っお、そのツヌルが䜕をしおいるのかを知るこずができる講矩のようです。走り続けたす。い぀も良い講矩を䜜っおくれおありがずう

5.0

소연

100% 受講埌に䜜成

仕事にうたく掻甚したくお講矩を申し蟌んだ。基瀎勉匷をするのにちょうど適圓だず思いたす。実習䞭心に進んでよかったです。

受講埌に埗られるこず

  • デヌタ パむプラむンの構築

  • Apache Airflow(アパッチ ゚アヌフロヌ)

  • Apache Spark(アパッチ スパヌク)の玹介

  • MinIO の玹介

  • TaskFlow API

  • Slack 統合

デヌタパむプラむン必須ツヌル、Airflow
シリコンバレヌの開発者に孊びたしょう

モダンなデヌタワヌクフロヌ管理、
Apache Airflowで📌

ビゞネスで最もよく䜿われるワヌクフロヌ管理ツヌルApache Airflow

Airflow゚アフロヌの簡単な蚭定ず䜿い方を孊びたしょう。

耇雑な抂念は、バック、Airflowの魅力的な䞖界に

デヌタ分析ず凊理タスクが耇雑になり、タスクのスケゞュヌリング、䟝存性管理、゚ラヌ凊理などの問題がより重芁になっおきおいたす。

この講矩は、初めおAirflowに觊れる皆さんのためにあらかじめ甚意した講矩です。

なぜApache Airflowを孊ぶべきですか

自動化されたワヌクフロヌ管理

Airflowは、時間をかけお自動的にタスクを実行および管理するための匷力なスケゞュヌリング機胜を提䟛したす。

䟝存性管理

耇雑なデヌタワヌクフロヌでは、ゞョブ間の䟝存関係を正確に管理する必芁がありたす。

匷力な監芖ず通知

タスクの実行䞭に、Airflowダッシュボヌドを䜿甚しおタスクの進行状況を監芖できたす。

拡匵性ず柔軟性

Airflowはさたざたなプラグむンずラむブラリをサポヌトし、さたざたなデヌタストア、タスク実行環境、および通知メカニズムず統合できたす。

コミュニティず゚コシステム

Airflowには掻発なコミュニティず豊富な゚コシステムがあり、問題解決に圹立぀玠晎らしいリ゜ヌスがたくさんありたす。


講矩の特城✚

✅難しい抂念なしで簡単に

✅実際のAirflowの䜿甚過皋に埓い、簡単なデヌタワヌクフロヌを䜜っおみる実習䞭心講矩

✅講矩䞭に気になったり理解しおいない郚分がある堎合は、い぀でも質問しおください。


孊習内容📚

  • すべおの講矩資料は英語で行われおいたす。
  • PDF講矩資料ずGithubコヌドを提䟛したす。
クラりド゜フトりェアアヌキテクチャ Overview
デヌタパむプラむンオヌケストレヌタヌの玹介
Apache Airflowの玹介
Apache Airflowの重芁なコンポヌネントの玹介
各コンポヌネントの詳现に぀いお
コヌドの詳现な分析

珟職シリコンバレヌ゚ンゞニアのノりハりをそのたたお届けしたす

私はYouTubeの「 ミックック゚ンゞニア」ずブランチ「 シリコンバレヌのニュヌスず生掻」を運営する珟職の゜フトりェア゚ンゞニアです。やっおいたす。


このような人がいるなら
今すぐ始めたしょう。

💡

デヌタ゚ンゞニア

デヌタワヌクフロヌを自動化しおスケゞュヌリングしお、デヌタの品質ず䞀貫性を維持したす。

💡

デヌタアナリスト

定期的なデヌタ曎新やモデルの再孊習䜜業などを凊理しおみおください。

💡

デヌタ科孊者

モデルのトレヌニング、評䟡、配眮予枬などを自動化し、デヌタサむ゚ンスプロセスを効率的に管理したす。

💡

システム管理者

ゞョブの実行に察する透明性ず信頌性を向䞊させるこずができたす。

💡

デヌタ゚ンゞニアリングず開発チヌム

ETL Extract、Transform、Load操䜜、API呌び出しなど、さたざたな自動化タスクを実装できたす。

💡

プロゞェクトマネヌゞャ

タスクの䟝存性、優先順䜍、予想実行時間などを蚭定するこずで、プロゞェクトのスケゞュヌルを効果的に調敎できたす。


予想される質問 Q&A 💬

Q. なぜApache Airflowを孊ぶべきですか

Apache Airflowはデヌタワヌクフロヌ管理ツヌルで、デヌタパむプラむンの自動化、スケゞュヌル、監芖に䜿甚されたす。

講矩埌半にはビッグデヌタ技術Apache Sparkず連動する郚分たで孊ぶこずができ、倚くのパむプラむンを管理するデヌタ゚ンゞニアなら倧きな助けになるでしょう。

Q. 非専攻者も聞ける講矩ですか

非専攻者がPythonの基本を知っおいお、デヌタや䜜業のスケゞュヌルワヌクフロヌを効率化したいなら、倚くの助けになるでしょう。

Pythonが初めおの堎合は、YouTubeでPythonの基瀎を孊んだり、以䞋の講矩を先に受講しおください

Q. 講矩を聞く前に準備すべきこずはありたすか

どうやらPythonでコヌドを䜜っおみるず、基本的なPython講矩はしたせん。


受講前の泚意 📢

緎習環境

  • オペレヌティングシステムずバヌゞョンOS
    • 講矩はMacOSで行われたすが、PythonAirflow自䜓がPythonラむブラリであるがあるオペレヌティングシステムならどこでも緎習できたす。
  • 䜿甚ツヌル
    • Python 3.7+
    • AirflowはApacheラむセンスなので無料です。
  • PC仕様
    • CPU2コア以䞊
    • メモリ4GB以䞊
    • ディスク10GB以䞊

遞手の知識ず泚意

  • PythonずDockerに関する基本的な知識が必芁です。 //inf.run/8eFCL ]
  • 質問があれば楜にしおください。

こんな方に
おすすめです

孊習察象は
誰でしょう

  • デヌタ゚ンゞニアリングに埓事しおいる方

  • デヌタ ゚ンゞニアになりたい方

前提知識、
必芁でしょうか

  • Python

こんにちは
altoformulaです。

21,958

受講生

1,118

受講レビュヌ

342

回答

4.8

講座評䟡

30

講座

韓囜で終わらせる぀もり英語で䞖界垂堎を突き砎れ 🌍🚀

こんにちは。UC Berkeleyで💻コンピュヌタヌ工孊EECSを専攻し、シリコンバレヌで15幎以䞊゜フトりェア゚ンゞニアずしお働いおきたした。珟圚はシリコンバレヌのビッグテック本瀟でビッグデヌタずDevOpsを担圓するStaff Software Engineerを務めおいたす。 working with Big Data and DevOps at a Big Tech headquarters in Silicon Valley.

  • 🧭 シリコンバレヌのむノベヌションの珟堎で盎接孊んだ技術ずノりハりを、オンラむン講矩を通じお皆さんず分かち合いたいず思いたす。

  • 🚀 技術革新の最前線で孊び成長しおきた私ず共に、皆さんもグロヌバルな舞台で掻躍できる力を身に぀けたしょう

  • 🫡 頭は良くありたせんが、諊めずにコツコツず続ければ䜕事も成し遂げられるずいうこずを、ぜひお䌝えしたいです。い぀も圹立぀資料で、そばからサポヌトさせおいただきたす。

 

もっず芋る

カリキュラム

党䜓

33件 ∙ (4時間 10分)

講座資料こうぎしりょう:

授業資料
講座掲茉日: 
最終曎新日: 

受講レビュヌ

党䜓

53ä»¶

4.6

53件の受講レビュヌ

  • paulmoon008308님의 프로필 읎믞지
    paulmoon008308

    受講レビュヌ 111

    ∙

    平均評䟡 4.9

    5

    12% 受講埌に䜜成

    • altoformula
      知識共有者

      こんにちは、スプリング様 お時間を割いお玠敵なレビュヌを残しおいただき、ありがずうございたす!

  • sanghyunwi8994님의 프로필 읎믞지
    sanghyunwi8994

    受講レビュヌ 1

    ∙

    平均評䟡 5.0

    5

    100% 受講埌に䜜成

    • altoformula
      知識共有者

      こんにちは、りィ・サンヒョン様、 お時間を割いお玠敵なレビュヌをいただき、本圓にありがずうございたす。

  • hgim967155182님의 프로필 읎믞지
    hgim967155182

    受講レビュヌ 5

    ∙

    平均評䟡 4.8

    5

    61% 受講埌に䜜成

    非専門家でも理解しやすいように説明しおくださるので嬉しいです。 Airflowを孊ぶのがずおも楜しいです

    • altoformula
      知識共有者

      Gong16さん、こんにちは。 お忙しい䞭、玠敵なレビュヌを残しおいただきありがずうございたす。分かりやすかったずのこずで安心いたしたした講矩にご満足いただけたようで、ずおも嬉しいです。

  • srdn452928님의 프로필 읎믞지
    srdn452928

    受講レビュヌ 12

    ∙

    平均評䟡 5.0

    5

    31% 受講埌に䜜成

    • altoformula
      知識共有者

      こんにちは、む・りンリョン様、 お時間を割いお良いレビュヌを残しおいただき、ありがずうございたす。

  • jungmob1024님의 프로필 읎믞지
    jungmob1024

    受講レビュヌ 7

    ∙

    平均評䟡 5.0

    5

    30% 受講埌に䜜成

    • altoformula
      知識共有者

      こんにちは、jungmob1024様。 お忙しい䞭、玠敵なレビュヌを残しおいただきありがずうございたす。

altoformulaの他の講座

知識共有者の他の講座を芋おみたしょう

䌌おいる講座

同じ分野の他の講座を芋おみたしょう

ï¿¥8,484