Kafka & Spark 활용한 Realtime Datalake
김현진
초보자를 위한 Kafka & Spark 실시간 파이프라인 입문 강의. 핵심 개념부터 아키텍처까지 마스터하기 위한 올인원 강의입니다.
초급
Kafka, Apache Spark, pyspark
BEST
Airflowマスタークラス
データパイプラインを効率的に作成し管理するためのOrchestrationツールであるAirflowについて学ぶ講義です。初心者でも順を追って学べるAirflowマスタークラスへようこそ！
（4.9）受講レビュー 43件
受講生 898名
이론 실습 모두
데이터-엔지니어링
데이터파이프라인
airflow
Data Engineering
Python
学習した受講者のレビュー
こんなことが学べます
Airflow 概念と基礎
Airflowベースのパイプライン開発
Airflowを用いて自動Emailを送信する
Airflow を活用した公共データ API 呼び出しおよび可視化
Airflow & カカオ, Slack を活用したメッセージ通知
AirflowでChatGPTを活用する
データパイプライン、Airflowで悩む終わり📊
初めて始まるAirflowのすべて
- Airflowをたくさん書いていますが、Airflowとは何ですか？
- Airflowで何ができますか？
- Airflowでパイプラインをどのように作成できますか？
- 他のソリューションとどのように連携し、データを抽出、保存しますか？
- Airflowでカカオトーク、Slackのようなメッセンジャーをどのように連動しないのですか？
- AirflowでChatGPTと連携してブログの自動書き込みが可能か？
👉 Apache Airflow（Apache Airflow）の基本概念から、大容量環境で運用できるアーキテクチャ構成まで、すべてを込めました。
アップデート完了(~Airflow 3.0)
- UIの変更について
- Dag Bundle
- Dag Versioning
- Dataset から Asset へ
- アーキテクチャの変更とREST API V2
アップデート完了(~Airflow 2.10.5)
- Task Setup & Teardown機能の追加（ver 2.6）
- DAG Params 機能説明 & UI Form の導入 (ver 2.6)
- Object Storage Path機能の追加(ver 2.8)
- Dynamic Task Mapping 機能説明 & Index Naming 機能の追加 (ver 2.9)
- Task Bash Decoratorを追加する（ver 2.9）
- Object Storage as a Xcom Backend (ver 2.9)
- Multiple Executor (ver 2.10)
- Dataset Metadata (ver 2.10)
- Dataset Alias (ver 2.10)
👉約80個ほどの練習ファイルはGithubからダウンロードできます。
ところで、なぜAirflowなのでしょうか？
Airflowは、抽出、加工、保存、分析などのデータパイプラインを作成および管理するための重要なオーケストレーションソリューションです。
Airflowは、類似ソリューションの中で最も人気のあるパイプライン管理ツールであり、導入事例も増え続けています。
こんな方に講義をおすすめします
何を学べますか？
Airflow 基本機
Airflowの概念やワークフローの作成方法など、基本的な使い方を実習を通じて学びます。 60個程度の実習ファイルでじっくり学べるように構成しました。
パイプライン構成
スケジューリング管理による電子メール送信など、Airflowを使用してDAGパイプラインを開発および実行するプロセスを学びます。
データ収集
ソウル市の公共データポータルからAPIにデータを受け取り、保存するパイプラインを設定します。
モニタリングと連動
カカオトーク、スラック（Slack）メッセンジャーアプリと連動して、エラーメッセージ、DAGの現状などアラーム（Alarm）の受信を実習してみます。
データの可視化
R言語を使用して可視化できるR Shinyの概念を紹介します。ソウル市公共データポータルから受け取ったデータを利用して視覚化を進めてみます。
アーキテクチャ
Airflowのさまざまな展開方法とアーキテクチャについて学び、大容量環境で確実に運用できる方法を学びます。
業務自動化
ChatGPTの概念を紹介し、Python（Python）APIとChatGPTを連携する方法を学びます。 Pythonで株式情報を呼び出すことができる方法で、株式急騰種目についてChatGPTが紹介する内容をブログに自動投稿する自動化を実習してみます。
受講前 次の内容を知っていればいいです✨
1. Pythonの基本知識
- AirflowはパイプラインをPython言語にします。それで、Pythonをある程度やるべきだと思います。
- しかし、あまりにも深い知識を必要としません。 for、if、whileなど基本的な制御文法やリスト、ディクショナリをよく扱える程度なら十分に追いつくことができます。
- 後半にはクラス継承などの内容が出てきますが、あまり心配しないでください。みんな説明して差し上げます。
2. DockerとDocker Compose
- 基本的な練習環境はWindowsのWSLです。
- そしてAirflowはDocker（ドッカー）を利用してインストールされ、Docker Compose（ドッカーコンポーズ）で複数の練習を進めるので、Dockerを扱うことがわかれば簡単です。
- しかし、これも心配しないでください。 Dockerの概念と使い方まで両方お知らせします。
3. SQL
- 基本的なSQL文法（SELECT ... FROM ... WHERE）を知っていれば良いです。
- 実践の過程でしばしば出てくるSQL文法はすべて説明します。
実習環境を確認してください✨
- 練習するPC orノートパソコンは、8GB以上のメモリを備えることをお勧めします。
- AirflowはWindowsに直接インストールされないため、基本的にWindowsのWSLを利用してAirflowをインストールして練習します。 （WSLのインストールプロセスはすべて説明します😊）
- macOSをお使いの方は別途準備なしで受講可能です。
Q&A 💬
Q. 講義はどのように行われますか？
AirflowでワークフローをDAGと呼びますが、DAGを一緒に作成してみる方法で練習します。基本的な概念を説明する時間以外には、基本的に各章で練習を行います。
練習ファイルが長い場合は、あらかじめDAGファイルを作成しておき、ロジックを説明する方法で進めます。
Q. 練習ファイルと学習資料をダウンロードできますか？
もちろんです！ Githubで実践的なファイルをすべて受け取ることができます。 Gitの使い方がよくわかりませんか？ Gitの使い方もお知らせします。
そしてPDFベースの学習資料もすべて提供します。セクション0 - 講義資料のダウンロードから入手できます。
Q. 実習難易度はどのくらいですか？
序盤にはPythonの基本的な文法だけが分かっても理解できますが、後半に行くほど難易度は少し難しいので、Pythonのクラス、継承などの概念を知れば役立ちます。でも心配しないでください。実習内容は十分説明して進めます。
Q. Airflow を学ぶと何ができますか？
Bash Shell、Pythonでできることはすべてできます。何かをAirflowにすることができるかどうか疑問に思っている場合は、それをBash ShellまたはPython言語で処理できるかどうかをまず確認してください。 Bash ShellまたはPython言語でできる場合は、Airflowで行うことができます。
こんな方に
おすすめです
学習対象は
誰でしょう？
データエンジニアについて学びたい方
Airflowが気になる方
Airflowを使っているものの、よく活用できていない方
データパイプラインの構築と管理が必要な方
前提知識、
必要でしょうか？
Python 基礎文法
Docker & Docker Compose 使い方
SQL 基礎文法(SELECT, FROM)
1,064
受講生
54
受講レビュー
185
回答
4.9
講座評価
2
講座
안녕하세요.
데이터 & AI 분야에서 일하고 있는 15년차 현직자입니다.
정보관리기술사를 취득한 이후 지금까지 얻은 지식을 많은 사람들에게 공유하고자 컨텐츠 제작하고 있습니다.
반갑습니다. :)
Contact: hjkim_sun@naver.com
共同知識共有者
カリキュラム
全体
107件 ∙ (24時間 56分)
講座資料（こうぎしりょう）:
授業資料
講座掲載日:
最終更新日:
受講レビュー
全体
43件
4.9
43件の受講レビュー
이동준受講レビュー 1
∙
平均評価 5.0
5
13% 受講後に作成주위에 데이터 엔지니어 공부를 처음 시작한 사람이 있다면 무조건 추천해주고싶습니다. (비전공자 입장에서) 데이터 엔지니어 공부를 시작할때 git도 알아야하고 리눅스도 알아야하고, 파이썬도 알아야하고 airflow도 알면 좋다는데 각각 얼만큼 알아야하는지 몰라 혼란에 빠진 시간이 길었습니다. 이번 강의를 들으면서 airflow에 필요한 git과 리눅스의 기초도 어느정도 배우게 되어 좋았고, 또 이후 DAG 실습도 풍부하다고 알고있어서 꽤 기대가 됩니다. 열심히 마저 수강해서 제목대로 airflow 마스터 하도록하겠습니다! 이후에도 데이터 엔지니어 강의 출시해주시면 꼭 듣고 싶습니다!
그리고 정말 사소한 부분도 친절히 설명해주셔서 너무 좋습니다. 여태 들어왔던 강의중에 가장 만족합니다 !
- 김현진知識共有者
안녕하세요 dj961024님 감동의 수강평 감사합니다 ^_^ 뭐든지 그렇겠지만 기본 원리 이해가 제일 중요하다고 믿는 사람으로써 어떻게 하면 개념을 쉽게 이해할 수 있을까 고민을 많이했습니다. 덕분에 도움이 많이 되셨다니 너무 기쁘네요. 수강 중 궁금하신 것 있으면 언제든지 문의해주시고 계속 열공하시길 바래요 !
- Byung-ryul Kim
受講レビュー 2
∙
平均評価 5.0
5
100% 受講後に作成Airflow 초급 과정이지만 깊이 있게 알려 주셔서 많은 도움이 되었습니다. 감사합니다.
- 김현진知識共有者
Buing-ryul 님 후기 감사드립니다. 도움이 많이 되셨다니 저도 기분이 좋네요 ^^ 현업에서도 잘 쓰시기를 바라겠습니다.
￥17,083
hyunjinkimの他の講座
知識共有者の他の講座を見てみましょう！
似ている講座
同じ分野の他の講座を見てみましょう！
![[2025] 비전공자도 한 번에 합격하는 SQLD 올인원강의 썸네일](https://cdn.inflearn.com/public/files/courses/336953/cover/01jr02gfpt2km3k50amyw7sttt?f=avif&w=420)
![[데이터 전처리] 걱정하지마! Pandas가 있으니까.강의 썸네일](https://cdn.inflearn.com/public/files/courses/336824/cover/01jvkrdy5ncabh8j7fk44z8spa?f=avif&w=420)
![[데브원영] 아파치 카프카 for beginners강의 썸네일](https://cdn.inflearn.com/public/courses/326507/cover/aa474be0-c000-4b61-afbb-cb78ed0fb843?f=avif&w=420)
![[리뉴얼] 처음하는 MongoDB(몽고DB) 와 NoSQL(빅데이터) 데이터베이스 부트캠프 [입문부터 활용까지] (업데이트)강의 썸네일](https://cdn.inflearn.com/public/courses/324183/cover/fbe9f0cc-4c42-4435-b855-f283f6932415/324183.png?f=avif&w=420)
