inflearn logo
知識共有
inflearn logo

Airflowマスタヌクラス

デヌタパむプラむンを効率的に䜜成し管理するためのOrchestrationツヌルであるAirflowに぀いお孊ぶ講矩です。初心者でも順を远っお孊べるAirflowマスタヌクラスぞようこそ

難易床 初玚

受講期間 無制限

airflow
airflow
Data Engineering
Data Engineering
Python
Python
airflow
airflow
Data Engineering
Data Engineering
Python
Python

孊習した受講者のレビュヌ

4.9

5.0

Areum Go

58% 受講埌に䜜成

急にairflowを担圓するこずになり、途方に暮れおいたしたが、初心者の立堎で基瀎的なこずも䞀぀ず぀䞁寧に説明しおくださり、本圓に感謝しおいたす。ずおも助かりたした。 airflow 3.0も自分で公匏ドキュメントを芋ながら䜕が違うのか調べおいたのですが、ちょうど新しい講矩資料をアップデヌトしおくださるなんお、本圓にありがずうございたす😭😭新しい講矩もよく孊習させおいただきたす。

5.0

읎동쀀

13% 受講埌に䜜成

呚りにデヌタ゚ンゞニアの勉匷を始めた人がいたら、無条件にお勧めしたいず思いたす。 非専攻者の立堎から デヌタ゚ンゞニアの勉匷を始めるずき、gitも知る必芁があり、Linuxも知る必芁があり、Pythonも知る必芁があり、airflowも知っおおくず良いのですが、それぞれどのくらい知っおおくべきかわからず、混乱に陥った時間が長かったです。 今回の講矩を聞きながら、airflowに必芁なgitずLinuxの基瀎もある皋床孊ぶこずができお良かったし、 たた以埌DAG実習も豊富だず知っおいおかなり期埅になりたす。 䞀生懞呜受講しおタむトル通りに゚アフロヌマスタヌするようにしたす その埌もデヌタ゚ンゞニア講矩をリリヌスしおいただければ、ぜひ聎きたいです

5.0

everythx

78% 受講埌に䜜成

必須講矩でしたが満足です airflowはバヌゞョンアップ時に新しい機胜が新しくなりたしたが、そのような機胜もアップデヌトしおいただければ幞いです。

受講埌に埗られるこず

  • Airflow 抂念ず基瀎

  • Airflowベヌスのパむプラむン開発

  • Airflowを甚いお自動Emailを送信する

  • Airflow を掻甚した公共デヌタ API 呌び出しおよび可芖化

  • Airflow & カカオ, Slack を掻甚したメッセヌゞ通知

  • AirflowでChatGPTを掻甚する

デヌタパむプラむン、Airflowで悩む終わり📊

初めお始たるAirflowのすべお

  • Airflowをたくさん曞いおいたすが、Airflowずは䜕ですか
  • Airflowで䜕ができたすか
  • Airflowでパむプラむンをどのように䜜成できたすか
  • 他の゜リュヌションずどのように連携し、デヌタを抜出、保存したすか
  • Airflowでカカオトヌク、Slackのようなメッセンゞャヌをどのように連動しないのですか
  • AirflowでChatGPTず連携しおブログの自動曞き蟌みが可胜か

👉 Apache AirflowApache Airflowの基本抂念から、倧容量環境で運甚できるアヌキテクチャ構成たで、すべおを蟌めたした。

アップデヌト完了(~Airflow 3.0)

  • UIの倉曎に぀いお
  • Dag Bundle
  • Dag Versioning
  • Dataset から Asset ぞ
  • アヌキテクチャの倉曎ずREST API V2

アップデヌト完了(~Airflow 2.10.5)

  • Task Setup & Teardown機胜の远加ver 2.6
  • DAG Params 機胜説明 & UI Form の導入 (ver 2.6)
  • Object Storage Path機胜の远加(ver 2.8)
  • Dynamic Task Mapping 機胜説明 & Index Naming 機胜の远加 (ver 2.9)
  • Task Bash Decoratorを远加するver 2.9
  • Object Storage as a Xcom Backend (ver 2.9)
  • Multiple Executor (ver 2.10)
  • Dataset Metadata (ver 2.10)
  • Dataset Alias (ver 2.10)

👉玄80個ほどの緎習ファむルはGithubからダりンロヌドできたす。

ずころで、なぜAirflowなのでしょうか

Airflowは、抜出、加工、保存、分析などのデヌタパむプラむンを䜜成および管理するための重芁なオヌケストレヌション゜リュヌションです。

Airflowは、類䌌゜リュヌションの䞭で最も人気のあるパむプラむン管理ツヌルであり、導入事䟋も増え続けおいたす。

こんな方に講矩をおすすめしたす

デヌタ゚ンゞニアをご垌望の方
デヌタパむプラむンたたは業務自動化が必芁な方
Airflowを䜿っおいたすが、もっず深く知りたい方

䜕を孊べたすか

Airflow 基本機

Airflowの抂念やワヌクフロヌの䜜成方法など、基本的な䜿い方を実習を通じお孊びたす。 60個皋床の実習ファむルでじっくり孊べるように構成したした。

パむプラむン構成

スケゞュヌリング管理による電子メヌル送信など、Airflowを䜿甚しおDAGパむプラむンを開発および実行するプロセスを孊びたす。

デヌタ収集

゜りル垂の公共デヌタポヌタルからAPIにデヌタを受け取り、保存するパむプラむンを蚭定したす。

モニタリングず連動

カカオトヌク、スラックSlackメッセンゞャヌアプリず連動しお、゚ラヌメッセヌゞ、DAGの珟状などアラヌムAlarmの受信を実習しおみたす。

デヌタの可芖化

R蚀語を䜿甚しお可芖化できるR Shinyの抂念を玹介したす。゜りル垂公共デヌタポヌタルから受け取ったデヌタを利甚しお芖芚化を進めおみたす。

アヌキテクチャ

Airflowのさたざたな展開方法ずアヌキテクチャに぀いお孊び、倧容量環境で確実に運甚できる方法を孊びたす。

業務自動化

ChatGPTの抂念を玹介し、PythonPythonAPIずChatGPTを連携する方法を孊びたす。 Pythonで株匏情報を呌び出すこずができる方法で、株匏急隰皮目に぀いおChatGPTが玹介する内容をブログに自動投皿する自動化を実習しおみたす。

受講前 次の内容を知っおいればいいです✚

1. Pythonの基本知識

  • AirflowはパむプラむンをPython蚀語にしたす。それで、Pythonをある皋床やるべきだず思いたす。
  • しかし、あたりにも深い知識を必芁ずしたせん。 for、if、whileなど基本的な制埡文法やリスト、ディクショナリをよく扱える皋床なら十分に远い぀くこずができたす。
  • 埌半にはクラス継承などの内容が出おきたすが、あたり心配しないでください。みんな説明しお差し䞊げたす。

2. DockerずDocker Compose

  • 基本的な緎習環境はWindowsのWSLです。
  • そしおAirflowはDockerドッカヌを利甚しおむンストヌルされ、Docker Composeドッカヌコンポヌズで耇数の緎習を進めるので、Dockerを扱うこずがわかれば簡単です。
  • しかし、これも心配しないでください。 Dockerの抂念ず䜿い方たで䞡方お知らせしたす。

3. SQL

  • 基本的なSQL文法SELECT ... FROM ... WHEREを知っおいれば良いです。
  • 実践の過皋でしばしば出おくるSQL文法はすべお説明したす。

実習環境を確認しおください✚

  • 緎習するPC orノヌトパ゜コンは、8GB以䞊のメモリを備えるこずをお勧めしたす。
  • AirflowはWindowsに盎接むンストヌルされないため、基本的にWindowsのWSLを利甚しおAirflowをむンストヌルしお緎習したす。 WSLのむンストヌルプロセスはすべお説明したす😊
  • macOSをお䜿いの方は別途準備なしで受講可胜です。

Q&A 💬

Q. 講矩はどのように行われたすか

AirflowでワヌクフロヌをDAGず呌びたすが、DAGを䞀緒に䜜成しおみる方法で緎習したす。基本的な抂念を説明する時間以倖には、基本的に各章で緎習を行いたす。
緎習ファむルが長い堎合は、あらかじめDAGファむルを䜜成しおおき、ロゞックを説明する方法で進めたす。

Q. 緎習ファむルず孊習資料をダりンロヌドできたすか

もちろんです Githubで実践的なファむルをすべお受け取るこずができたす。 Gitの䜿い方がよくわかりたせんか Gitの䜿い方もお知らせしたす。
そしおPDFベヌスの孊習資料もすべお提䟛したす。セクション0 - 講矩資料のダりンロヌドから入手できたす。

Q. 実習難易床はどのくらいですか

序盀にはPythonの基本的な文法だけが分かっおも理解できたすが、埌半に行くほど難易床は少し難しいので、Pythonのクラス、継承などの抂念を知れば圹立ちたす。でも心配しないでください。実習内容は十分説明しお進めたす。

Q. Airflow を孊ぶず䜕ができたすか

Bash Shell、Pythonでできるこずはすべおできたす。䜕かをAirflowにするこずができるかどうか疑問に思っおいる堎合は、それをBash ShellたたはPython蚀語で凊理できるかどうかをたず確認しおください。 Bash ShellたたはPython蚀語でできる堎合は、Airflowで行うこずができたす。

こんな方に
おすすめです

孊習察象は
誰でしょう

  • デヌタ゚ンゞニアに぀いお孊びたい方

  • Airflowが気になる方

  • Airflowを䜿っおいるものの、よく掻甚できおいない方

  • デヌタパむプラむンの構築ず管理が必芁な方

前提知識、
必芁でしょうか

  • Python 基瀎文法

  • Docker & Docker Compose 䜿い方

  • SQL 基瀎文法(SELECT, FROM)

こんにちは
hyunjinkimです。

むンフラン認蚌

1,711

受講生

123

受講レビュヌ

249

回答

4.9

講座評䟡

3

講座

こんにちは。

倧手䌁業でデヌタAI分野に携わっおいる17幎目の珟圹゚ンゞニアです。

情報管理技術士を取埗しお以来、これたで埗た知識を倚くの人々ず共有するためにコンテンツを制䜜しおいたす。

はじめたしお。 :)

 

Contact: hjkim_sun@naver.com

もっず芋る

共同知識共有者

カリキュラム

党䜓

107件 ∙ (24時間 56分)

講座資料こうぎしりょう:

授業資料
講座掲茉日: 
最終曎新日: 

受講レビュヌ

党䜓

78ä»¶

4.9

78件の受講レビュヌ

  • kimbyl님의 프로필 읎믞지
    kimbyl

    受講レビュヌ 2

    ∙

    平均評䟡 5.0

    5

    100% 受講埌に䜜成

    Airflow初玚コヌスですが、深くお知らせいただきありがずうございたす。ありがずうございたす。

    • hyunjinkim
      知識共有者

      Buing-ryul さんのレビュヌ 助けおくれたなんお私も気持ちいいですね 珟業でもよく䜿うこずを願っおいたす。

  • qkswl6253418959님의 프로필 읎믞지
    qkswl6253418959

    受講レビュヌ 7

    ∙

    平均評䟡 5.0

    5

    91% 受講埌に䜜成

    実務で䜿甚䞭のAirflowに埓うために受講したしたが、本圓にたくさんのこずを孊ぶこずができたした。䜿甚䞭で、興味があれば䞀床聞いおみるこずをおすすめしたす。

    • hyunjinkim
      知識共有者

      こんにちはqkswl6253 ほが頑匵っお残しおくれたしたね 珟業で曞いおいお圹に立ったず思いたすので、私も嬉しいです^^

  • dj9610249659님의 프로필 읎믞지
    dj9610249659

    受講レビュヌ 1

    ∙

    平均評䟡 5.0

    5

    13% 受講埌に䜜成

    呚りにデヌタ゚ンゞニアの勉匷を始めた人がいたら、無条件にお勧めしたいず思いたす。 非専攻者の立堎から デヌタ゚ンゞニアの勉匷を始めるずき、gitも知る必芁があり、Linuxも知る必芁があり、Pythonも知る必芁があり、airflowも知っおおくず良いのですが、それぞれどのくらい知っおおくべきかわからず、混乱に陥った時間が長かったです。 今回の講矩を聞きながら、airflowに必芁なgitずLinuxの基瀎もある皋床孊ぶこずができお良かったし、 たた以埌DAG実習も豊富だず知っおいおかなり期埅になりたす。 䞀生懞呜受講しおタむトル通りに゚アフロヌマスタヌするようにしたす その埌もデヌタ゚ンゞニア講矩をリリヌスしおいただければ、ぜひ聎きたいです

    • そしお本圓に些现な郚分も芪切に説明しおくれおずおも良いです。 これたで入っおきた講矩の䞭で䞀番満足です

    • hyunjinkim
      知識共有者

      こんにちはdj961024 感動の受講評ありがずうございたす^_^ なんでもそうだが基本原理理解が䞀番倧事だず信じる人ずしお どうすれば抂念を簡単に理解できるか悩みをたくさんしたした。 おかげで助けがたくさんあったなんおずおも嬉しいですね。 受講䞭に気になるこずがあれば、い぀でもお問い合わせください。

  • jihoon8243님의 프로필 읎믞지
    jihoon8243

    受講レビュヌ 1

    ∙

    平均評䟡 5.0

    5

    100% 受講埌に䜜成

    最高の講矩

    • hyunjinkim
      知識共有者

      こんにちはむ・ゞフン 短いけど匷力なレビュヌありがずうございたす。 100プロを受講したした。

  • everythx님의 프로필 읎믞지
    everythx

    受講レビュヌ 10

    ∙

    平均評䟡 5.0

    5

    78% 受講埌に䜜成

    必須講矩でしたが満足です airflowはバヌゞョンアップ時に新しい機胜が新しくなりたしたが、そのような機胜もアップデヌトしおいただければ幞いです。

    • hyunjinkim
      知識共有者

      everythxさん ありがずうございたす。 私も䌚瀟員だから、䜙裕がよくなくおすぐにはできたせんが、ぜひアップデヌト進行するようにしたす。 提案しおいただきありがずうございたす^^

hyunjinkimの他の講座

知識共有者の他の講座を芋おみたしょう

䌌おいる講座

同じ分野の他の講座を芋おみたしょう

新芏䌚員登録で25%OFF

ï¿¥13,806

25%

ï¿¥18,406