Kafka & Spark を活用したリアルタイムデータレイク
hyunjinkim
初心者のための Kafka & Spark リアルタイムパイプライン入門講座。 コアコンセプトからアーキテクチャまでマスターするためのオールインワン講座です。
초급
Kafka, Apache Spark, pyspark
BEST
Airflowマスタークラス
データパイプラインを効率的に作成し管理するためのOrchestrationツールであるAirflowについて学ぶ講義です。初心者でも順を追って学べるAirflowマスタークラスへようこそ！
（4.9）受講レビュー 54件
受講生 945名
이론 실습 모두
데이터-엔지니어링
데이터파이프라인
airflow
Data Engineering
Python
kakao-tech
学習した受講者のレビュー
こんなことが学べます
Airflow 概念と基礎
Airflowベースのパイプライン開発
Airflowを用いて自動Emailを送信する
Airflow を活用した公共データ API 呼び出しおよび可視化
Airflow & カカオ, Slack を活用したメッセージ通知
AirflowでChatGPTを活用する
データパイプライン、Airflowで悩む終わり📊
初めて始まるAirflowのすべて
- Airflowをたくさん書いていますが、Airflowとは何ですか？
- Airflowで何ができますか？
- Airflowでパイプラインをどのように作成できますか？
- 他のソリューションとどのように連携し、データを抽出、保存しますか？
- Airflowでカカオトーク、Slackのようなメッセンジャーをどのように連動しないのですか？
- AirflowでChatGPTと連携してブログの自動書き込みが可能か？
👉 Apache Airflow（Apache Airflow）の基本概念から、大容量環境で運用できるアーキテクチャ構成まで、すべてを込めました。
アップデート完了(~Airflow 3.0)
- UIの変更について
- Dag Bundle
- Dag Versioning
- Dataset から Asset へ
- アーキテクチャの変更とREST API V2
アップデート完了(~Airflow 2.10.5)
- Task Setup & Teardown機能の追加（ver 2.6）
- DAG Params 機能説明 & UI Form の導入 (ver 2.6)
- Object Storage Path機能の追加(ver 2.8)
- Dynamic Task Mapping 機能説明 & Index Naming 機能の追加 (ver 2.9)
- Task Bash Decoratorを追加する（ver 2.9）
- Object Storage as a Xcom Backend (ver 2.9)
- Multiple Executor (ver 2.10)
- Dataset Metadata (ver 2.10)
- Dataset Alias (ver 2.10)
👉約80個ほどの練習ファイルはGithubからダウンロードできます。
ところで、なぜAirflowなのでしょうか？
Airflowは、抽出、加工、保存、分析などのデータパイプラインを作成および管理するための重要なオーケストレーションソリューションです。
Airflowは、類似ソリューションの中で最も人気のあるパイプライン管理ツールであり、導入事例も増え続けています。
こんな方に講義をおすすめします
何を学べますか？
Airflow 基本機
Airflowの概念やワークフローの作成方法など、基本的な使い方を実習を通じて学びます。 60個程度の実習ファイルでじっくり学べるように構成しました。
パイプライン構成
スケジューリング管理による電子メール送信など、Airflowを使用してDAGパイプラインを開発および実行するプロセスを学びます。
データ収集
ソウル市の公共データポータルからAPIにデータを受け取り、保存するパイプラインを設定します。
モニタリングと連動
カカオトーク、スラック（Slack）メッセンジャーアプリと連動して、エラーメッセージ、DAGの現状などアラーム（Alarm）の受信を実習してみます。
データの可視化
R言語を使用して可視化できるR Shinyの概念を紹介します。ソウル市公共データポータルから受け取ったデータを利用して視覚化を進めてみます。
アーキテクチャ
Airflowのさまざまな展開方法とアーキテクチャについて学び、大容量環境で確実に運用できる方法を学びます。
業務自動化
ChatGPTの概念を紹介し、Python（Python）APIとChatGPTを連携する方法を学びます。 Pythonで株式情報を呼び出すことができる方法で、株式急騰種目についてChatGPTが紹介する内容をブログに自動投稿する自動化を実習してみます。
受講前 次の内容を知っていればいいです✨
1. Pythonの基本知識
- AirflowはパイプラインをPython言語にします。それで、Pythonをある程度やるべきだと思います。
- しかし、あまりにも深い知識を必要としません。 for、if、whileなど基本的な制御文法やリスト、ディクショナリをよく扱える程度なら十分に追いつくことができます。
- 後半にはクラス継承などの内容が出てきますが、あまり心配しないでください。みんな説明して差し上げます。
2. DockerとDocker Compose
- 基本的な練習環境はWindowsのWSLです。
- そしてAirflowはDocker（ドッカー）を利用してインストールされ、Docker Compose（ドッカーコンポーズ）で複数の練習を進めるので、Dockerを扱うことがわかれば簡単です。
- しかし、これも心配しないでください。 Dockerの概念と使い方まで両方お知らせします。
3. SQL
- 基本的なSQL文法（SELECT ... FROM ... WHERE）を知っていれば良いです。
- 実践の過程でしばしば出てくるSQL文法はすべて説明します。
実習環境を確認してください✨
- 練習するPC orノートパソコンは、8GB以上のメモリを備えることをお勧めします。
- AirflowはWindowsに直接インストールされないため、基本的にWindowsのWSLを利用してAirflowをインストールして練習します。 （WSLのインストールプロセスはすべて説明します😊）
- macOSをお使いの方は別途準備なしで受講可能です。
Q&A 💬
Q. 講義はどのように行われますか？
AirflowでワークフローをDAGと呼びますが、DAGを一緒に作成してみる方法で練習します。基本的な概念を説明する時間以外には、基本的に各章で練習を行います。
練習ファイルが長い場合は、あらかじめDAGファイルを作成しておき、ロジックを説明する方法で進めます。
Q. 練習ファイルと学習資料をダウンロードできますか？
もちろんです！ Githubで実践的なファイルをすべて受け取ることができます。 Gitの使い方がよくわかりませんか？ Gitの使い方もお知らせします。
そしてPDFベースの学習資料もすべて提供します。セクション0 - 講義資料のダウンロードから入手できます。
Q. 実習難易度はどのくらいですか？
序盤にはPythonの基本的な文法だけが分かっても理解できますが、後半に行くほど難易度は少し難しいので、Pythonのクラス、継承などの概念を知れば役立ちます。でも心配しないでください。実習内容は十分説明して進めます。
Q. Airflow を学ぶと何ができますか？
Bash Shell、Pythonでできることはすべてできます。何かをAirflowにすることができるかどうか疑問に思っている場合は、それをBash ShellまたはPython言語で処理できるかどうかをまず確認してください。 Bash ShellまたはPython言語でできる場合は、Airflowで行うことができます。
こんな方に
おすすめです
学習対象は
誰でしょう？
データエンジニアについて学びたい方
Airflowが気になる方
Airflowを使っているものの、よく活用できていない方
データパイプラインの構築と管理が必要な方
前提知識、
必要でしょうか？
Python 基礎文法
Docker & Docker Compose 使い方
SQL 基礎文法(SELECT, FROM)
1,139
受講生
72
受講レビュー
207
回答
4.9
講座評価
2
講座
안녕하세요.
데이터 & AI 분야에서 일하고 있는 15년차 현직자입니다.
정보관리기술사를 취득한 이후 지금까지 얻은 지식을 많은 사람들에게 공유하고자 컨텐츠 제작하고 있습니다.
반갑습니다. :)
Contact: hjkim_sun@naver.com
共同知識共有者
カリキュラム
全体
107件 ∙ (24時間 56分)
講座資料（こうぎしりょう）:
授業資料
講座掲載日:
最終更新日:
受講レビュー
全体
54件
4.9
54件の受講レビュー
dj9610249659受講レビュー 1
∙
平均評価 5.0
5
13% 受講後に作成周りにデータエンジニアの勉強を始めた人がいたら、無条件にお勧めしたいと思います。 （非専攻者の立場から） データエンジニアの勉強を始めるとき、gitも知る必要があり、Linuxも知る必要があり、Pythonも知る必要があり、airflowも知っておくと良いのですが、それぞれどのくらい知っておくべきかわからず、混乱に陥った時間が長かったです。 今回の講義を聞きながら、airflowに必要なgitとLinuxの基礎もある程度学ぶことができて良かったし、 また以後DAG実習も豊富だと知っていてかなり期待になります。 一生懸命受講してタイトル通りにエアフローマスターするようにします！ その後もデータエンジニア講義をリリースしていただければ、ぜひ聴きたいです！
そして本当に些細な部分も親切に説明してくれてとても良いです。 これまで入ってきた講義の中で一番満足です！
- hyunjinkim知識共有者
こんにちはdj961024 感動の受講評ありがとうございます^_^ なんでもそうだが基本原理理解が一番大事だと信じる人として どうすれば概念を簡単に理解できるか悩みをたくさんしました。 おかげで助けがたくさんあったなんてとても嬉しいですね。 受講中に気になることがあれば、いつでもお問い合わせください。
- everythx
受講レビュー 10
∙
平均評価 5.0
5
78% 受講後に作成必須講義でしたが満足です！ airflowはバージョンアップ時に新しい機能が新しくなりましたが、そのような機能もアップデートしていただければ幸いです。
- hyunjinkim知識共有者
everythxさん ありがとうございます。 私も会社員だから、余裕がよくなくてすぐにはできませんが、ぜひアップデート進行するようにします。 提案していただきありがとうございます^^
- kimbyl
受講レビュー 2
∙
平均評価 5.0
5
100% 受講後に作成Airflow初級コースですが、深くお知らせいただきありがとうございます。ありがとうございます。
- hyunjinkim知識共有者
Buing-ryul さんのレビュー 助けてくれたなんて私も気持ちいいですね＾＾ 現業でもよく使うことを願っています。
- jihoon8243
受講レビュー 1
∙
平均評価 5.0
- ahnbm8781
受講レビュー 1
∙
平均評価 4.0
4
100% 受講後に作成AIRFLOWの機能を様々な実習を通じて簡単に理解できました
- hyunjinkim知識共有者
こんにちはahn.bmさん 受講坪登録ありがとうございます。 もし不満足な部分があるのでしょうか？提案していただければ反映してみましょう。 どうぞよろしくお願いします。
￥17,406
hyunjinkimの他の講座
知識共有者の他の講座を見てみましょう！
似ている講座
同じ分野の他の講座を見てみましょう！
![Toss シニア開発者と一緒に学ぶ Data Workflow Management 基盤の大容量データ処理設計パターン [ By. 非専攻者 & Toss 開発者 ]강의 썸네일](https://cdn.inflearn.com/public/files/courses/338881/cover/01k53h2spnzsx6661wa1g9kfvj?f=avif&w=420)
![[リニューアル] 初めてのMongoDB(モンゴDB) と NoSQL(ビッグデータ) データベース ブートキャンプ [入門から活用まで] (アップデート)강의 썸네일](https://cdn.inflearn.com/public/courses/324183/cover/fbe9f0cc-4c42-4435-b855-f283f6932415/324183.png?f=avif&w=420)
