シリコンバレーのAI開発者によるLLMサービスのためのRAG
Hong
LLMの限界? シリコンバレーの現場で経験したRAGの試行錯誤と運用ノウハウをもとに、実践的な問題解決法をお伝えします。
入門
JavaScript, Python, AI
Spring Boot 3.x + KotlinでKafkaクラスターを構築し、PostgreSQL CDCとDebezium Connect、Apache Avroスキーマを活用して、リアルタイムイベントストリーミングが可能な拡張性の高い注文処理システムを開発します。
受講生 704名
難易度 入門
受講期間 無制限


学習した受講者のレビュー
5.0
devHand
この講義にある内容を他の人に説明できるようになるまでは、Kafkaを知っているとは言えないと思います。本当に多くの助けになる講義だと思います。私も簡単にProducer & Consumerだけで活用してみましたが、kafkaを活用する方法がこんなにも無限大だとは知りませんでした。実際に実務で15年目の先輩の方もこのような主題については活用したことがないとおっしゃっていました... ジュニア開発者でもシニア開発者でも絶対に聞いてください。本当にとても良い主題です。 短所が現実的にあるとすれば、クライアントレベルでこのKafkaをもう少し活用するコードがあれば良いのではないかと思います。どうしてもKafkaに焦点が合わせられた講義なので、この部分が不足しているようで、基本的にKafkaをある程度ご存知の方が聞けばより良いです。講義自体でもおっしゃっていますが、大きく取り上げて進む部分がない内容があるのですが、その部分が開発側面では重要である可能性があるので、この部分を除いては本当にとてもとても良い講義です。良い講義を作ってくださってありがとうございます。
5.0
유쾌한 캥거루
Java & SpringよりもKafkaにより確実に集中して構成された講義です。正直この価格でKafkaについてこのように多様な活用法と資料を知ることができるのがお得だと感じますね。もちろんクライアントレベルについては少し不足して見えますが、Kafkaに集中したと継続的におっしゃっているため、この部分は問題にならないと思います。良い講義をよく聞かせていただきました😊
5.0
Choi
講義を撮影しているのですが、かなりの持分がある??カカオで勤務している開発者です!!私も実務でKafkaをよく使用しているのですが!!実際のプロダクションレベルになると、かなり複雑でこの講義だけでは現実的に少し不足している部分があります😭😭しかし講義紹介動画でも言ったように、ジュニア開発者と新入開発者にはどのような情報まで伝えてあげれば良いかを基準に撮影したという部分をご理解いただければありがたいです!!そのため学習の方向性とこのKafkaに対する大まかな紹介及び実習実装体に集中して撮影してみました。 - 実務での例を挙げると、オフセットコミット条件や、DLQのようなイベント消費漏れ防止パターンのような部分があります!! それでも多くの助けになるよう講義を構成しましたので、最も簡単で深く、そして速くこの講義を通してKafkaについて学習していただければと思います。多くの関心をお願いします!ありがとうございます!!
Apache Kafka Producer/Consumerを活用して大容量イベントの発行および消費を行う非同期メッセージングシステム
Kafka Streamsを活用して、リアルタイムデータフィルタリング、ウィンドウ集計、状態ストア管理を行うストリーム処理システム
Debezium CDCを活用してPostgreSQLデータベースの変更事項をリアルタイムでキャプチャする変更データキャプチャ(CDC)システム
Apache Avro Schemaを活用して、タイプセーフなメッセージシリアル化およびスキーマ進化を支援するデータ交換システム
Docker Composeを活用してKafkaクラスター、Zookeeper、PostgreSQL、Debezium Connectを統合管理するコンテナインフラ
Event-Driven Architectureを活用して、リアルタイムの不正検知、高額注文のフィルタリング、売上統計の集計を行うイベント駆動型ビジネスロジック
APACHE KAFKA · PRODUCER · STREAMS · CDC
メッセージを送り受け取るコードは難しくありません。行き詰まるのはその次です。コンシューマーが一つ停止したら誰が引き継ぐのか、オフセットはいつコミットされるのか、同じメッセージが二度処理されるのをどう防ぐのか。
塗りつぶされたマスが既に読み取ったオフセット、点線がまだ読み取っていないマスです。パーティションごとに読み取った位置が個別に管理されるということが、Kafkaを理解する上での最初のポイントです。
この図でコンシューマーが一つ抜けると、残りのコンシューマーがそのパーティションを引き継ぎます。その時に起こる現象がリバランシングであり、セクション2の最後の講義がその内容になります。
이 강의에 있는 내용을 다른 사람에게 설명해 줄 수 있기 전까지 Kafka를 안다고 말하면 안 될 것 같습니다.
インフラン受講評 · devHand · 89%受講後に作成
SECTION 01 · 何が違うのか
ProducerとConsumerだけを使うなら、キューを一つ使うのと大差ありません。Kafkaを使う理由は、その下にあります。
ストレージ
メッセージがディスクにどのような単位で蓄積されるのか。読み取った後も消えない理由がここにあります。
フェイルオーバー
ブローカーが1台停止してもデータが残る構造。その間でZooKeeperがどのような役割を果たしているのかまで。
PRODUCER
同じメッセージが二度入るのを防ぐ仕組み。リトライ(再試行)とセットで必ず目にすることになるトピックです。
CONSUMER
コンシューマーが増減する際にパーティションが再割り当てされます。コミットのタイミングを誤ると、データの消失や重複が発生します。
セクション2が丸ごとこの内容です。コードよりも概念を先に掴む構成になっており、ダイアグラムのリポジトリが資料として共に提供されます。
SECTION 02 · 開始
どこまで扱うかを決めるところから始まりました。
SECTION 03 · 範囲
ProducerとConsumerはセクション4で終わります。その後にさらに3つあります。
SECTION 5
別個のクラスターなしでデータを変換し、集計します。主要な演算子を確認し、Topologyをコードで作成して照会まで行ってみます。
SECTION 6
メッセージ構造が変わっても壊れないようにする仕組みです。スキーマを登録し、実際のコードで使ってみます。
SECTION 8
データベースの変更をキャッチしてKafkaへ流し込みます。Connectorスクリプトを理解し、直接テストします。
セクション7で軽量イメージを使って環境を構築し、Kafka UIでトピックとメッセージを目で確認します。デバッグ画面があってこそ、何が間違っているのかが見えてきます。
SECTION 04 · カリキュラム
概念を先に終わらせてからコードに入ります。後ろの4つのセクションがStreams・Avro・環境構築・CDCです。
ダイアグラムのリポジトリとソースコードのリポジトリはセクション1に含まれています。
커리큘럼 보기SECTION 05 · 実習環境
Kafkaだけを起動するのではなく、付随するものも一緒に起動します。
環境構築に時間を費やさないようにすることが目的です。環境変数を設定し、ソースコードを実行してみる講義が別途用意されています。
SECTION 06 · 受講レビュー
Inflearnの受講レビューからそのまま引用しました。
JavaとSpringに集中しているというよりは、Kafkaにしっかりと焦点を当てて構成された講義です。この価格でKafkaに関するこれほど多様な活用法と資料を知ることができるのは、コスパ最高(ヘジャ)だと感じますね。
愉快なカンガルー · 96%受講後に作成
会社にKafkaを導入するロールが割り当てられたのですが、この講義を通じて多くのことを学べたと思います。単純な生産・消費パターンから、より多様な活用法を経験できるように構成してくださっています。
ドタバタ · 96% 受講後に作成
機能実装というよりは、Kafka自体について幅広い視野を持つことができる講義です。アーキテクチャのような部分も扱ってくれるので、視野そのものが広がる感じがしますね。
ks ju · 93%受講後に作成
SECTION 07 · 対象
CASE 1
会社でKafkaを導入する担当になったが、どこから手をつければいいか分からない開発者。
CASE 2
ProducerとConsumerは動かしてみたが、その下の構造は知らないバックエンド開発者。
CASE 3
REST呼び出しだけでサービスを連携させてきたジュニア開発者。
CASE 4
面接でパーティションやオフセット、リバランシングに関する質問に答えたい方。
SECTION 08 · 今の市場
新卒採用は減り、企業は検証済みの(即戦力の)人材だけを採用しようとしています。ここ数ヶ月の間に出た記事の内容です。
企業が不安を感じている分、選ばれる側はより明確な差を見せなければなりません。「使ったことがある」と言う人と、構造を説明できる人は、面接で明暗が分かれます。
SECTION 09 · 制作した人
KAKAO · BACKEND & DATA ENGINEER · 面接官
カカオでバックエンドとデータエンジニアリングを担当しており、実務でKafkaを使用しています。ジュニアや新卒の方々にどの範囲まで伝えるべきかを基準に撮影に参加しました。
"プロダクションまで行くと複雑です。だから、どこまで教えるかをまず決めました。"
知識共有者 ・ 板橋(パンギョ)プラットフォームサーバー開発
非専攻からスタートし、現在は板橋(パンギョ)でプラットフォームのバックエンドを開発しています。現場の知人たちと一緒に講義を作ることを原則としています。
"概念を先に終わらせてからコードに入ることで、後で迷わずに済みます。"
SECTION 10 · 質問
講義を聞いていて気になった部分、自分のサービスに適用しながら生じた疑問、キャリアの話まで共有できる場所が別途用意されています。行き詰まる部分は、大抵他の人も同じように行き詰まるものです。
学習対象は
誰でしょう?
ジュニア→ミドルレベルへの成長を目指すバックエンドエンジニア
リアルタイムサービスの開発経験を積みたい開発者
シニア開発者へと成長したいミドルレベル開発者
ポートフォリオを強化したい就職準備生
技術スタックの拡張を通じた転職を計画中の開発者
前提知識、
必要でしょうか?
Springに関する基本的な知識があると望ましいです。
インフラン認証
キャリア認証
9,301
受講生
596
受講レビュー
166
回答
4.8
講座評価
31
講座
家でだらだら過ごしていたところ、開発に興味を持ち勉強を始め、現在は板橋(パンギョ)でプラットフォームサーバーの開発を担当しています。私が勉強してきた方法や、実務で直面する可能性のある様々な問題点とその解決策を皆さんに提供したいと思い、知識共有者としての活動を続けています。
講義は私一人の知識だけで作られるものではありません。すべての講義には、共に作り上げてくださる方々がいます。
Tossの開発者からの推薦で合流されたシリコンバレーの開発者 Waddy, người đã tham gia theo lời giới thiệu của một nhà phát triển từ Toss
[知識共有者の経歴]
[前] サンドボックスIP関連ブロックチェーン開発者
[前] メタバースバックエンドエンジニア
[現] 板橋(パンギョ)でベテランになりつつあるサーバー開発者
[インタビュー履歴]
[その他のお問い合わせ]
[公式サイト]
全体
27件 ∙ (5時間 5分)
講座資料(こうぎしりょう):
全体
46件
4.7
46件の受講レビュー
受講レビュー 6
∙
平均評価 5.0
5
タイトル通り、本当に簡単で素早くKafkaについて学習できる良い講義だと思います。一般的な概念から実戦活用法について学習することができ、短時間でKafkaが何なのかがピンと来た感じですね。ありがとうございます。
こんにちは、8番さん!!良い評価を残していただき、ありがとうございます。😆今後もより良い講義を提供できるよう努力いたします。良い一日をお過ごしください :)
受講レビュー 3
∙
平均評価 5.0
5
会社にkafkaを導入する役割が割り当てられましたが、この講義を通じて多くの部分を学んだと思います。単純な生産消費パターンからより多様な活用法を経験できるように構成してくれた完璧な講義のようですね。
こんにちは、うだんたんたんさん!会社でkafkaを導入されるとは!!サービスがさらに大きくなっている証拠ですね😊😊おめでとうございます:) おっしゃっていただいた部分のように、様々な活用法を扱うテーマで準備した講義です。たくさんお役に立てればと思います。今後もより有益な講義を準備するようにしますね、ありがとうございます:)
受講レビュー 12
∙
平均評価 5.0
5
講義を撮影しているのですが、かなりの持分がある??カカオで勤務している開発者です!!私も実務でKafkaをよく使用しているのですが!!実際のプロダクションレベルになると、かなり複雑でこの講義だけでは現実的に少し不足している部分があります😭😭しかし講義紹介動画でも言ったように、ジュニア開発者と新入開発者にはどのような情報まで伝えてあげれば良いかを基準に撮影したという部分をご理解いただければありがたいです!!そのため学習の方向性とこのKafkaに対する大まかな紹介及び実習実装体に集中して撮影してみました。 - 実務での例を挙げると、オフセットコミット条件や、DLQのようなイベント消費漏れ防止パターンのような部分があります!! それでも多くの助けになるよう講義を構成しましたので、最も簡単で深く、そして速くこの講義を通してKafkaについて学習していただければと思います。多くの関心をお願いします!ありがとうございます!!
今回もこのように助けていただき、ありがとうございます!!お忙しいでしょうに😭😭私も感謝して、今週は毎回朝3〜4時に起きて撮影しました!!これからもより有益な講義を一緒に作っていきましょう😊😊
受講レビュー 2
∙
平均評価 3.5
3
コードをコピーする部分が多すぎて、APIやメソッドの使用法についても詳しく説明してくれないので、全部調べなければならない。 ある程度の背景知識があれば楽になるかもしれないが、Kafka入門者に適切かどうか疑問。
こんにちは、jy cさん、フィードバックありがとうございます。コピーを通じて進めた理由については、実際に一つ一つ打ちながら進める理由がないと思ったからです。やはりただプログラミング言語を書くことに大きな意味はないと思って、このように構成した次第です。 追加で講義の難易度や対象については、追加的に検討して調整するようにいたします。ありがとうございます!
受講レビュー 23
∙
平均評価 4.8
修正済み
2
講義が不親切な方です。 Kafkaを初めて接する方にはおすすめしません。
jayuh22さん、フィードバックありがとうございます。やはりこのKafkaというものは、決して簡単な内容ではありません。そのため、皆さんの立場で最大限、概念だけでも理解していただけるような内容を記述したいと考えました。これらすべてを理解していただく必要はありません(泣)。それでも、どこかで知っておけば後で思い出すこともあるのではないかと思い、できるだけ多くの部分をお伝えしたかったのですが、それがうまく合わなかったようですね…。 就職準備中の方であっても、私がお伝えした内容の中で理解できる部分を優先して復習し、その後に難しい内容を学習されるのが、学習を進める上で助けになるのではないかと思います。 実際、Kafka自体を先に理解するのは、就職準備中の方にとっては難しいはずです。一般的な開発論やパターンが組み合わさった形なので…そのため、難易度が少し高く感じられたのだと思います。 次からはもっと留意して、より良い内容を提供できるようにいたします。
知識共有者の他の講座を見てみましょう!
同じ分野の他の講座を見てみましょう!