01. 核心概念およびインフラ構築
Kafka、Hadoop、Spark、Airflowの核心概念を理解し、実行環境およびインフラを自ら構築します。
Kafka、Hadoop、Spark、Airflowの主要概念とインフラ構築から、JavaとPythonベースの実習、さらにAWS環境での運用レベルのパイプライン構築まで、一緒に取り組みます。
4名 が受講中です。
難易度 入門
受講期間 無制限
Kafka、Hadoop、Spark、Airflowの核心的な概念
データパイプラインインフラ構築実習
AWSのMSK、EMR、MWAA、S3サービスを活用した運用データパイプラインの構築
本講座では、Kafka、Hadoop、Spark、Airflowの主要概念とインフラ構築から、JavaとPythonを基盤とした実習、さらにAWS環境での運用レベルのパイプライン構築まで一緒に学びます。
Kafka、Hadoop、Spark、Airflowの核心概念を理解し、実行環境およびインフラを自ら構築します。
Java、SpringBoot、Pythonのコードを基に、各技術の特性を理解するための実習を行います。
データレイク、ログデータストレージ、ビッグデータストレージおよびパイプラインなどの用途に活用できる実践的なパイプラインを構築します。
MSK、EMR、MWAA、S3などのAWSサービスを活用し、プロダクションレベルの運用環境におけるパイプラインインフラを構築してみます。
実際の本番環境を想定したリアルタイムおよびバッチデータ処理アーキテクチャのフロー
データパイプラインを構築する必要があるデータエンジニアまたはインフラエンジニア
Kafka、Sparkなどを活用するバックエンド開発者
AI学習のためのデータレイクを構築する必要があるAIエンジニア
学習対象は
誰でしょう?
データパイプラインを構築しなければならないデータエンジニア
Kafka、Sparkなどを活用するバックエンド開発者
AI学習のためのデータレイクを構築する必要があるAIエンジニア
インフラン認証
キャリア認証
3,923
受講生
414
受講レビュー
137
回答
4.9
講座評価
13
講座
💪💪💪実務と講義の経歴を兼ね備えた専門家 💪💪💪
こんにちは、金善国(キム・ソングク)です。延世大学を卒業し、大企業やスタートアップなどでソフトウェアエンジニアとして働いてきました。現在は企業研修やブートキャンプの専業講師として活動しています。実務経験と講義経験を兼ね備えた講師として、皆さんに必ず知っておくべき知識を中心に分かりやすくお伝えします。
プロフィール:https://www.linkedin.com/in/seongukkim
企業教育に関するお問い合わせ:ksg39412@naver.com
全体
19件 ∙ (7時間 27分)
1. 授業概要
28:25
2. Kafkaの概要と使用例
17:17
3. Kafkaクラスター
21:16
4. プロデューサーとコンシューマー
20:24
5. 実習)Kafkaクラスター構築
40:37
6. 演習)Kafkaメッセージの発行
29:29
17. 実習)s3、mwaa構成
20:44
19. 締めくくり
09:48
知識共有者の他の講座を見てみましょう!
同じ分野の他の講座を見てみましょう!
期間限定セール
¥31
28%
¥7,034