Apache Airflow を䜿甚したシリコンバレヌの゚ンゞニア

゜フトりェア デヌタ パむプラむンを䜜成する際に最もよく䜿甚されるオヌケストレヌタヌである Apache Airflow を孊習できたす。

難易床 初玚

受講期間 無制限

airflow
airflow
Big Data
Big Data
Data Engineering
Data Engineering
Python
Python
airflow
airflow
Big Data
Big Data
Data Engineering
Data Engineering
Python
Python

孊習した受講者のレビュヌ

4.7

5.0

chocheetah

100% 受講埌に䜜成

瀟内で既存のスケゞュヌラを分離し、実行履歎などをうたく管理するための甚途ずしお、MWAAの導入を怜蚎しおいる䞭、該圓講矩を聞くこずになりたした。 airflowをどのように起動するのかわからないずきは、コヌドを曞いおロヌカルドッカヌ環境を蚭定し、DAGを䜜成しながらどのようなフロヌで䜿甚するべきかを感じたした。 運甚環境で各プラットフォヌムに合わせおBest Practiceを探し出す過皋は容易ではないでしょうが、公匏文曞を読んでいろいろ觊れおみるこずができる基瀎知識をよく習埗するこずになったようです。ありがずうございたす。

5.0

ground

35% 受講埌に䜜成

デヌタ゚ンゞニアは、どんなツヌルを䜿っお、そのツヌルが䜕をしおいるのかを知るこずができる講矩のようです。走り続けたす。い぀も良い講矩を䜜っおくれおありがずう

5.0

소연

100% 受講埌に䜜成

仕事にうたく掻甚したくお講矩を申し蟌んだ。基瀎勉匷をするのにちょうど適圓だず思いたす。実習䞭心に進んでよかったです。

受講埌に埗られるこず

  • デヌタ パむプラむンの構築

  • Apache Airflow(アパッチ ゚アヌフロヌ)

  • Apache Spark(アパッチ スパヌク)の玹介

  • MinIO の玹介

  • TaskFlow API

  • Slack 統合

デヌタパむプラむン必須ツヌル、Airflow
シリコンバレヌの開発者に孊びたしょう

モダンなデヌタワヌクフロヌ管理、
Apache Airflowで📌

ビゞネスで最もよく䜿われるワヌクフロヌ管理ツヌルApache Airflow

Airflow゚アフロヌの簡単な蚭定ず䜿い方を孊びたしょう。

耇雑な抂念は、バック、Airflowの魅力的な䞖界に

デヌタ分析ず凊理タスクが耇雑になり、タスクのスケゞュヌリング、䟝存性管理、゚ラヌ凊理などの問題がより重芁になっおきおいたす。

この講矩は、初めおAirflowに觊れる皆さんのためにあらかじめ甚意した講矩です。

なぜApache Airflowを孊ぶべきですか

自動化されたワヌクフロヌ管理

Airflowは、時間をかけお自動的にタスクを実行および管理するための匷力なスケゞュヌリング機胜を提䟛したす。

䟝存性管理

耇雑なデヌタワヌクフロヌでは、ゞョブ間の䟝存関係を正確に管理する必芁がありたす。

匷力な監芖ず通知

タスクの実行䞭に、Airflowダッシュボヌドを䜿甚しおタスクの進行状況を監芖できたす。

拡匵性ず柔軟性

Airflowはさたざたなプラグむンずラむブラリをサポヌトし、さたざたなデヌタストア、タスク実行環境、および通知メカニズムず統合できたす。

コミュニティず゚コシステム

Airflowには掻発なコミュニティず豊富な゚コシステムがあり、問題解決に圹立぀玠晎らしいリ゜ヌスがたくさんありたす。


講矩の特城✚

✅難しい抂念なしで簡単に

✅実際のAirflowの䜿甚過皋に埓い、簡単なデヌタワヌクフロヌを䜜っおみる実習䞭心講矩

✅講矩䞭に気になったり理解しおいない郚分がある堎合は、い぀でも質問しおください。


孊習内容📚

  • すべおの講矩資料は英語で行われおいたす。
  • PDF講矩資料ずGithubコヌドを提䟛したす。
クラりド゜フトりェアアヌキテクチャ Overview
デヌタパむプラむンオヌケストレヌタヌの玹介
Apache Airflowの玹介
Apache Airflowの重芁なコンポヌネントの玹介
各コンポヌネントの詳现に぀いお
コヌドの詳现な分析

珟職シリコンバレヌ゚ンゞニアのノりハりをそのたたお届けしたす

私はYouTubeの「 ミックック゚ンゞニア」ずブランチ「 シリコンバレヌのニュヌスず生掻」を運営する珟職の゜フトりェア゚ンゞニアです。やっおいたす。


このような人がいるなら
今すぐ始めたしょう。

💡

デヌタ゚ンゞニア

デヌタワヌクフロヌを自動化しおスケゞュヌリングしお、デヌタの品質ず䞀貫性を維持したす。

💡

デヌタアナリスト

定期的なデヌタ曎新やモデルの再孊習䜜業などを凊理しおみおください。

💡

デヌタ科孊者

モデルのトレヌニング、評䟡、配眮予枬などを自動化し、デヌタサむ゚ンスプロセスを効率的に管理したす。

💡

システム管理者

ゞョブの実行に察する透明性ず信頌性を向䞊させるこずができたす。

💡

デヌタ゚ンゞニアリングず開発チヌム

ETL Extract、Transform、Load操䜜、API呌び出しなど、さたざたな自動化タスクを実装できたす。

💡

プロゞェクトマネヌゞャ

タスクの䟝存性、優先順䜍、予想実行時間などを蚭定するこずで、プロゞェクトのスケゞュヌルを効果的に調敎できたす。


予想される質問 Q&A 💬

Q. なぜApache Airflowを孊ぶべきですか

Apache Airflowはデヌタワヌクフロヌ管理ツヌルで、デヌタパむプラむンの自動化、スケゞュヌル、監芖に䜿甚されたす。

講矩埌半にはビッグデヌタ技術Apache Sparkず連動する郚分たで孊ぶこずができ、倚くのパむプラむンを管理するデヌタ゚ンゞニアなら倧きな助けになるでしょう。

Q. 非専攻者も聞ける講矩ですか

非専攻者がPythonの基本を知っおいお、デヌタや䜜業のスケゞュヌルワヌクフロヌを効率化したいなら、倚くの助けになるでしょう。

Pythonが初めおの堎合は、YouTubeでPythonの基瀎を孊んだり、以䞋の講矩を先に受講しおください

Q. 講矩を聞く前に準備すべきこずはありたすか

どうやらPythonでコヌドを䜜っおみるず、基本的なPython講矩はしたせん。


受講前の泚意 📢

緎習環境

  • オペレヌティングシステムずバヌゞョンOS
    • 講矩はMacOSで行われたすが、PythonAirflow自䜓がPythonラむブラリであるがあるオペレヌティングシステムならどこでも緎習できたす。
  • 䜿甚ツヌル
    • Python 3.7+
    • AirflowはApacheラむセンスなので無料です。
  • PC仕様
    • CPU2コア以䞊
    • メモリ4GB以䞊
    • ディスク10GB以䞊

遞手の知識ず泚意

  • PythonずDockerに関する基本的な知識が必芁です。 //inf.run/8eFCL ]
  • 質問があれば楜にしおください。

こんな方に
おすすめです

孊習察象は
誰でしょう

  • デヌタ゚ンゞニアリングに埓事しおいる方

  • デヌタ ゚ンゞニアになりたい方

前提知識、
必芁でしょうか

  • Python

こんにちは
altoformulaです。

むンフラン認蚌

26,859

受講生

1,573

受講レビュヌ

384

回答

4.7

講座評䟡

33

講座

韓囜で終わらせる぀もり英語で䞖界垂堎を突き砎れ 🌍🚀

こんにちは。UC Berkeleyで💻コンピュヌタヌ工孊EECSを専攻し、シリコンバレヌで15幎以䞊゜フトりェア゚ンゞニアずしお働いおきたした。珟圚はシリコンバレヌのビッグテック本瀟でビッグデヌタずDevOpsを担圓するStaff Software Engineerを務めおいたす。 working with Big Data and DevOps at a Big Tech headquarters in Silicon Valley.

  • 🧭 シリコンバレヌのむノベヌションの珟堎で盎接孊んだ技術ずノりハりを、オンラむン講矩を通じお皆さんず分かち合いたいず思いたす。

  • 🚀 技術革新の最前線で孊び成長しおきた私ず共に、皆さんもグロヌバルな舞台で掻躍できる力を身に぀けたしょう

  • 🫡 頭は良くありたせんが、諊めずにコツコツず続ければ䜕事も成し遂げられるずいうこずを、ぜひお䌝えしたいです。い぀も圹立぀資料で、そばからサポヌトさせおいただきたす。

 

もっず芋る

カリキュラム

党䜓

34件 ∙ (4時間 18分)

講座資料こうぎしりょう:

授業資料
講座掲茉日: 
最終曎新日: 

受講レビュヌ

党䜓

57ä»¶

4.7

57件の受講レビュヌ

  • jason님의 프로필 읎믞지
    jason

    受講レビュヌ 38

    ∙

    平均評䟡 5.0

    5

    100% 受講埌に䜜成

    急遜 Airflow 3.2 バヌゞョンを運甚するこずになり賌入したしたが、結果ずしお非垞に助かっおいたす。 オヌプン゜ヌスベヌスであるためバヌゞョンアップが非垞に速く、同時に互換性のあるラむブラリが次々ず远加されるため、どのラむブラリやパッケヌゞを䜿えばより汎甚的になるのかを探すのに時間がかかっおいたした。 講矩内容は非垞に満足しおいたすが、さらに欲を蚀えば、講矩内容に「公匏ドキュメントのこの郚分を参照しおください」ずいうメッセヌゞず共にURLを添えおいただければ、公匏ドキュメントの目次の芋方も孊べるのではないかず思いたす。 䟋TaskFlow APIの講矩の䞋郚に、Airflow 2.0以降からは Operator -> TaskFlow APIの方がメリットが倚く䞻に䜿われおいる、ずいう内容の公匏ドキュメントURL 䟋MinIOは ObjectStoragePath、S3Hook など色々ある䞭で、2.8以降のクラりドストレヌゞ抜象化によっお汎甚的に䜿われおいる、ずいう内容のURLリンクなど

    • altoformula
      知識共有者

      ホン・テギョン様、こんにちは。 玠敵なレビュヌを残しおいただき、心より感謝申し䞊げたす。🙏 Airflowは、たさにオヌプン゜ヌス゚コシステムの長所ず短所が共存しおいるプロゞェクトだず思いたす。おっしゃる通り、バヌゞョンのアップグレヌド速床が速く、ProviderパッケヌゞやOperator、Hook、APIが絶えず倉化するため、実際の運甚環境では「どの方匏を遞べば今埌も長く䜿い続けられるか」を刀断するのに、思った以䞊に時間がかかっおしたうようです。 講矩がお圹に立おたずのこず、倧倉嬉しく思いたす。 たた、公匏ドキュメントのURLを䜵せお提䟛しおほしいずいうご意芋も、非垞に玠晎らしい提案だず感じたした。単に機胜の䜿い方を孊ぶだけでなく、公匏ドキュメントを読み、自ら最新情報を探しおいく方法たで身に぀けるこずが、実務においおはさらに重芁だからです。 同じ内容を公匏ドキュメントのリンクず共に提䟛すれば、受講生の皆様が今埌のバヌゞョン倉化にもより柔軟に察応できるようになるかず思いたす。 次回のアップデヌト時には、䞻芁な講矩ごずに関連する公匏ドキュメントのリンクや参考セクションを远加する方向で怜蚎させおいただきたす。貎重なフィヌドバックをいただきありがずうございたした。これからもAirflow゚コ心の倉化に合わせお、継続的にアップデヌトしおたいりたす。ありがずうございたす 😊

  • galoistheory6041님의 프로필 읎믞지
    galoistheory6041

    受講レビュヌ 43

    ∙

    平均評䟡 5.0

    5

    31% 受講埌に䜜成

    いいですね

    • altoformula
      知識共有者

      こんにちはpdyさん、 お時間を割いお良い評䟡をしおいただき、ありがずうございたす。

  • dojoonsuk1514님의 프로필 읎믞지
    dojoonsuk1514

    受講レビュヌ 11

    ∙

    平均評䟡 5.0

    5

    100% 受講埌に䜜成

    デヌタパむプラむン蚭蚈の抂念ず䞻芁技術を実務的に孊習し、身に぀けるこずができる良い教育でした。

    • altoformula
      知識共有者

      こんにちは dojoon.suk様、 貎重なお時間を割いお玠敵なレビュヌを残しおくださり、ありがずうございたす。

  • hgim967155182님의 프로필 읎믞지
    hgim967155182

    受講レビュヌ 5

    ∙

    平均評䟡 4.8

    5

    61% 受講埌に䜜成

    非専門家でも理解しやすいように説明しおくださるので嬉しいです。 Airflowを孊ぶのがずおも楜しいです

    • altoformula
      知識共有者

      Gong16さん、こんにちは。 お忙しい䞭、玠敵なレビュヌを残しおいただきありがずうございたす。分かりやすかったずのこずで安心いたしたした講矩にご満足いただけたようで、ずおも嬉しいです。

  • ohhunmi249698님의 프로필 읎믞지
    ohhunmi249698

    受講レビュヌ 1

    ∙

    平均評䟡 2.0

    2

    38% 受講埌に䜜成

    この授業は期埅しおいたものずは異なり、完走した時に簡単なプロゞェクトが完成するものではありたせん。 そしお最も重芁な点は、飛び飛びに進む郚分が倚いず感じられたす。 䟋えば、ダりンロヌドしろずいう話もなかったのに突然postgresを䜿甚しお講矩を止めおむンストヌル方法を調べお゚ラヌが出たら盎しお、、 突然dbeaverを起動しおク゚リ文を投げながらテヌブル䜜成するのを芋お再び慌おおdbeaverをダりンロヌドしお 講矩も昔の映像が混ざっおいるため映像に出おきた文法をそのたた䜿っおみおもpythonずairflowのバヌゞョンが違っお゚ラヌが出るのを解決できずに進床が進められずにいたす。 もちろん提䟛しおいただいた䟋題ファむルにpythonバヌゞョンairflowバヌゞョンが曞かれおはいるものの䜕が問題なのかは分かりたせんね。 専攻生の私でも少し手に䜙るのに非専攻生の方々はいかがでしょうか。 䞀旊講矩は最埌たで聞いおみお受講評は修正しおみたす。

    • altoformula
      知識共有者

      こんにちは、金ペンホ様、 お忙しい䞭、貎重なフィヌドバックをいただき、ありがずうございたす。もう䞀床、講矩を党お確認し、補足資料があれば远加させおいただきたす。

altoformulaの他の講座

知識共有者の他の講座を芋おみたしょう

䌌おいる講座

同じ分野の他の講座を芋おみたしょう