シリコンバレーのAI開発者によるLLMサービスのためのRAG
Hong
¥20,965
早割
69%
¥6,326
入門 / JavaScript, Python, AI, ChatGPT, RAG
5.0
(3)
LLMの限界?シリコンバレーの現場で経験したRAGの試行錯誤と運用ノウハウをもとに、実践的な問題解決法をお伝えします。
入門
JavaScript, Python, AI
ほとんどの開発者は、データ処理について語る際、依然としてバッチ(Batch)やCronJobにとどまっています。しかし、実際のサービス環境ではデータが絶え間なく生成されており、その流れを即座に処理できなければ、遅延・ボトルネック・整合性の問題へとつながります。私自身も大規模なトラフィック環境で、リアルタイム推薦、状態同期、イベント遅延といった問題に直面し、「これをバッチで処理するのが正解なのだろうか?」と何度も悩みました。この講義は、まさにその問いから始まります。Apache Flinkを活用し、データが流れる瞬間に演算を行い、状態を安全に管理し、Event Timeに基づいて正確な結果を導き出す方法を、実務の観点から紐解いていきます。単なる理論の説明ではなく、実際のソースコードや構造を通じて、リアルタイム・ストリーム処理システムがどのように設計・運用されているかを体験できます。リアルタイム処理が漠然としていた方、メッセージングのその先の領域が気になっていた方にとって、この講義は明確な指針となるはずです。
学習した受講者のレビュー
5.0
Ande
もう二回目の講義をオープンすることになりました!!個人的に知識共有への欲が強くて、私が知っている部分をどんどん解説してあげたかったんです。 今回扱おうとしている内容はApache Flinkに関する内容で、皆さんが必ず知っておくと良いテーマだと選定しました。 正直に言いますね!!皆さん、リアルタイム通信について知識がなければ、この内容を理解するのは難しいかもしれません。(もちろん私が全部教えますし、正直講義がとても良く構成されていると思います。笑) でも必ず学ばなければなりません。難しいけど必ず学ぶべきだと、私が断言してお伝えしたいです。 リアルタイム通信というのは、最近の時代にはとても重要になってきているようです。より多くのトラフィックを誘発し、より多くのデータを収集するために、より多くのコンテンツを提供しなければならないと思います。 実際にこういった部分が数多くの大企業やユニコーンスタートアップに反映されていますよね。皆さんがご存知のNetflixの推薦システム、Uberのリアルタイム料金計算、そしてまあMUSINSAのような推薦システム ほとんど皆さんが使用されているプラットフォームやサービスでは、このリアルタイム通信が抜けている場合を見たことがありません。 ですから、どうかこの動画を通して多くの方々が学習されたら嬉しいです。本当に必ず学ばなければなりません。皆さんのキャリアのためにも、お願いしますね笑笑笑
5.0
에이미
Inflearnで見た講義の中で指折りの講義だと思います..!! 理論的な部分も全く不足しておらず、サンプルコードとそれに伴う実習まで全般的に多くの部分を学べると思います。 Sourceという概念を教えてくださる時、あえて外部ストレージやMSQを使用せずに実装したのがより印象深いと思います。その部分まで扱っていたら講義の目標から一部外れる内容だったと思います。 本当に講義よく見ました。とても多くのことを学んでいく内容ですね。
5.0
warna
共有者様の講義を見ながら、私は最近ネイバークラウドに転職しました!!本当にありがとうございます。 私がインフラーンで最も好きな知識共有者様で、有名ではありませんが、短い時間で本当に多くの概念を教えてくださり、時間を効率的に使おうと努力される姿が講義ごとに見えて、とても良い講義だと思います。 今回も新しくオープンされるとすぐに受講しましたが...やはり本当に内容がとても有益だと思います。本当にたくさん学べる内容でした。
バッチではなくリアルタイムストリームベースでデータを処理する設計
Event Time・Watermarkを活用して遅延データまで正確に処理
ステートフルプロセッシングを通じて「状態を持つ」リアルタイムアプリケーションを実現
Apache Flinkで実務に即活用できるストリーム処理パイプライン
リアルタイムのレコメンデーション・課金・集計システムを設計可能なアーキテクチャ
開発・プログラミング・データエンジニアリング
データは絶え間なく入ってくるのに、処理は決められた時間にしか動きません。その間の遅延が積み重なるとボトルネックになり、整合性の問題が発生します。Apache Flinkは、その流れを流れてくるままに処理するエンジンです。この講義では、その構造を基礎から構築します。
Flinkは絶え間なく入ってくるデータをリアルタイムで処理する分散ストリーム処理エンジンです。バッチが決まった時間にまとめて処理するのに対し、ストリームは到着した順に処理します。
この講義が出発する場所
バッチ・クローンジョブ
決められた時刻に一斉に実行されます。その間に届いたデータは待機します。遅延がそのまま積み重なります。
ストリーム
イベントが一つ入ってくると、その場で処理します。終わりのないデータを扱う方式です。
Kafkaでイベントを流すところまでは、多くの方が到達します。その流れの上で集計し、状態を保持する段階で壁にぶつかります。この講義では、その部分を扱います。
この講義が始まった場所
NATSの講義を終えて間もなく、再び連絡がありました。その対話からこの講義が始まりました。
NATSの講義を終えて、連休に再び連絡がありました。
何を学ぶか
どこに置かれるか
Flinkはストレージではありません。データをどこかから受け取り(Source)、処理して再びどこかへ送り出す(Sink)場所に位置します。一般的によく前後に接続されるシステムです。
この講義で扱うのは、個別のコネクタの使用方法ではなく、SourceとSinkという概念そのものです。セクション4の最初の講義がその内容であり、概念を理解すれば、どちらに何が接続されても同じ方式で読み解けるようになります。
概念だけで終わることはありません
最後のセクションが丸ごと、例題の作成と実行になっています。
커리큘럼 보기カリキュラム
前半で概念と構造を把握し、後半でAPIと状態管理を経て直接実装まで進みます。
このような方に
今の市場
新卒採用は減り、企業は即戦力となる人材だけを採用しようとしています。ここ数ヶ月の間に報じられた記事の内容です。
企業が不安を感じている分、選ばれる側はより明確な違いを見せなければなりません。勉強は結局自ら行うものですが、何をどのような視点で見るかによって、同じ時間を使っても説明できる深さが変わってきます。この講義はその視点を伝えるために作りました。
受講評
インフロン(Inflearn)の受講レビューからそのまま引用しました。
"Inflearnで受講した講義の中で、指折りの講義だと思います。理論的な部分も全く不足しておらず、例題コードとそれに伴う実習まで、全般的に多くのことを学べると思います。Sourceという概念を教えてくださる際、あえて外部ストレージやメッセージキューを使わずに実装されていたのがより印象深かったです。"
エイミー · 89% 受講後に作成
"共有者さんの講義を見ながら、最近ネイバークラウドに転職しました。本当に心から感謝しています。有名ではありませんが、短時間で本当に多くの概念を教えてくださり、時間を効率的に使おうと努力されている姿がどの講義からも伝わってきて、本当に良い講義だと思います。"
warna · 85%受講後に作成
講師
ネイバー本社10年目のバックエンドエンジニアAndeと、板橋(パンギョ)プラットフォームサーバー開発者Hongが共に制作しました。
ネイバー本社でサーバーを開発している10年目のバックエンドエンジニアです。講義で扱う構造や判断基準は、そのほとんどが現場で実際に経験しながら整理したものです。質問はお気軽にどうぞ。
"バッチで耐えていても限界が来る時点があります。その時に構造を変えなければなりません。"
現 NAVERサーバー(本社)開発者 ・ 前 新世界グループ バックエンド開発者 ・ 前 ヘルスケアスタートアップ サーバー開発者 ・ コンピュータ工学専攻
板橋(パンギョ)でプラットフォームサーバー開発を担当しています。自ら学んだ方法や実務で直面する問題・解決策を共有するために、知識共有者としての活動を続けています。講義は一人ではなく、現職の複数の開発者と一緒に作っています。
「リアルタイムという言葉は格好いいですが、いざ組もうとすると時間の概念からして難しいものです。そこから始めます。」
よくある質問
データが到着する速度で処理する構造を、一度最後まで見てみます。
결정하기 전에 커리큘럼 다시 훑어보기一緒に語り合いましょう
一人で詰まってしまうと時間がかかります。講義を聞いていて気になった部分、自身のサービスに適用する中で生じた疑問、キャリアや現場の話まで、気軽に共有できる場所が別途用意されています。
実務で実際に直面する問題、他の方々がどのような構造を選んだのか、そして開発者のキャリアについての話を共有します。講義に関する質問も歓迎です。
「行き詰まる部分は、大抵他の人も行き詰まる部分です。先に通り過ぎた人に聞くのが一番早いです。」
学習対象は
誰でしょう?
バッチとCronJobの限界を前に、毎回設計で行き詰まるバックエンドエンジニア
Kafkaは使っているが、「その次のステップ」が分からずもどかしい開発者
リアルタイム推薦・課金・集計システムの構造が感覚でしか理解できていない開発者
Event Time・Stateの概念がいつも難しく感じられるストリーム入門者
リアルタイムデータ処理でキャリアの差別化を図りたい中堅・シニアエンジニア
インフラン認証
キャリア認証
10,255
受講生
654
受講レビュー
165
回答
4.7
講座評価
34
講座
家でだらだら過ごしていたところ、開発に興味を持ち勉強を始め、現在は板橋(パンギョ)でプラットフォームサーバーの開発を担当しています。私が勉強してきた方法や、実務で直面する可能性のある様々な問題点とその解決策を皆さんに提供したいと思い、知識共有者としての活動を続けています。
講義は私一人の知識だけで作られるものではありません。すべての講義には、共に作り上げてくださる方々がいます。
Tossの開発者からの推薦で合流されたシリコンバレーの開発者 Waddy, người đã tham gia theo lời giới thiệu của một nhà phát triển từ Toss
[知識共有者の経歴]
[前] サンドボックスIP関連ブロックチェーン開発者
[前] メタバースバックエンドエンジニア
[現] 板橋(パンギョ)でベテランになりつつあるサーバー開発者
[インタビュー履歴]
[その他のお問い合わせ]
[公式サイト]
全体
27件 ∙ (6時間 45分)
講座資料(こうぎしりょう):
全体
11件
4.7
11件の受講レビュー
受講レビュー 9
∙
平均評価 5.0
5
Inflearnで見た講義の中で指折りの講義だと思います..!! 理論的な部分も全く不足しておらず、サンプルコードとそれに伴う実習まで全般的に多くの部分を学べると思います。 Sourceという概念を教えてくださる時、あえて外部ストレージやMSQを使用せずに実装したのがより印象深いと思います。その部分まで扱っていたら講義の目標から一部外れる内容だったと思います。 本当に講義よく見ました。とても多くのことを学んでいく内容ですね。
こんにちは、エイミーさん!!このようにレビューを残していただきありがとうございます。指折りの講義だなんて ㅠㅠ とても励みになるレビューです。 次の講義もより有益で、エイミーさんのお役に立てる内容で準備してみます。良い一日をお過ごしください!
受講レビュー 3
∙
平均評価 5.0
修正済み
5
もう二回目の講義をオープンすることになりました!!個人的に知識共有への欲が強くて、私が知っている部分をどんどん解説してあげたかったんです。 今回扱おうとしている内容はApache Flinkに関する内容で、皆さんが必ず知っておくと良いテーマだと選定しました。 正直に言いますね!!皆さん、リアルタイム通信について知識がなければ、この内容を理解するのは難しいかもしれません。(もちろん私が全部教えますし、正直講義がとても良く構成されていると思います。笑) でも必ず学ばなければなりません。難しいけど必ず学ぶべきだと、私が断言してお伝えしたいです。 リアルタイム通信というのは、最近の時代にはとても重要になってきているようです。より多くのトラフィックを誘発し、より多くのデータを収集するために、より多くのコンテンツを提供しなければならないと思います。 実際にこういった部分が数多くの大企業やユニコーンスタートアップに反映されていますよね。皆さんがご存知のNetflixの推薦システム、Uberのリアルタイム料金計算、そしてまあMUSINSAのような推薦システム ほとんど皆さんが使用されているプラットフォームやサービスでは、このリアルタイム通信が抜けている場合を見たことがありません。 ですから、どうかこの動画を通して多くの方々が学習されたら嬉しいです。本当に必ず学ばなければなりません。皆さんのキャリアのためにも、お願いしますね笑笑笑
wwww こんなに熱心な方は初めて見ました。私もリアルタイム通信というキャリアが開発者の観点から本当に大きな助けになると思います。この方がおっしゃってくださったことに本当に共感しますし、多くの方々が私たちが共感する部分を認識して参考にしてくださったらとても嬉しいです。 良い講義を一緒に作れていつも光栄です~~! これからもよろしくお願いします!!
受講レビュー 5
∙
平均評価 5.0
5
最初は、こんなことまで知る必要があるのか??自分のキャリアにこれを勉強するのが正しいのか??と思ったんですが。わあ、本当にこれすごく有益です。単純な講義ではなく、Flinkというサービスについても学べますが、その先をもっと見ることができる講義だと思います。 講義とても良かったです。
ブスタ様、こんにちは!!難しいプラットフォームではありますが…できるだけ分かりやすく解説してお伝えできるよう努めました。励みになるお言葉をいただき、ありがとうございます!!
受講レビュー 15
∙
平均評価 5.0
5
講義とても良かったです。構成がとても良いですね。リアルタイム通信が何なのか、この講義一つでしっかり理解できたと思います。 単純にFlinkというプラットフォームだけを扱うのではなく、そのシニア開発者の方の視点も垣間見ることができる内容だったと思います。
こんにちは、02年生の開発者様!!良いレビューを残していただきありがとうございます!!おっしゃっていただいた部分のように、単純に使用する方式ではなく、もう少し広い視野で見ることができる観点を提供したいと思っていました。 今後もより有益な講義を提供いたします。レビューありがとうございます。良い一日をお過ごしください!!
受講レビュー 13
∙
平均評価 5.0
5
共有者様の講義を見ながら、私は最近ネイバークラウドに転職しました!!本当にありがとうございます。 私がインフラーンで最も好きな知識共有者様で、有名ではありませんが、短い時間で本当に多くの概念を教えてくださり、時間を効率的に使おうと努力される姿が講義ごとに見えて、とても良い講義だと思います。 今回も新しくオープンされるとすぐに受講しましたが...やはり本当に内容がとても有益だと思います。本当にたくさん学べる内容でした。
こんにちは warnaさん、ネイバークラウドだなんて!!!本当に素晴らしいところに行かれましたね ㅎㅎ 羨ましいです!!機会があれば私も...?ㅋㅋㅋㅋ 冗談ですが、今後もっと有益で面白い内容を扱いながら、皆さんに寄り添う講師になります。 良い一日をお過ごしください、そしてこれからもっと良いことだけがありますように!!
知識共有者の他の講座を見てみましょう!
同じ分野の他の講座を見てみましょう!
新規会員登録で25%OFF
¥6,646
25%
¥8,856