
Airflowマスタークラス
hyunjinkim
データパイプラインを効率的に作成し管理するためのOrchestrationツールであるAirflowについて学ぶ講義です。初心者でも順を追って学べるAirflowマスタークラスへようこそ!
初級
airflow, Data Engineering, Python
トランスフォーマーベースのLLMアーキテクチャとGPU活用戦略を理解し、vLLMを活用した実際のサービング過程まで直接実習します。 AIシステムパイプラインの構築からモニタリング、マルチGPUの活用まで実務フロー全体を扱い、 複雑な数式なしで図解と実習を中心に直感的に理解できるように構成された講義です。
受講生 184名
難易度 初級
受講期間 無制限
学習した受講者のレビュー
5.0
WonJune Lee
私はディープラーニング関連の職種ではありませんが、コンピュータビジョン(ルールベース)の分野で働いています。会社でLLMとビジョン系のディープラーニング技術が必要になり、関連するトピックを勉強しています。 まだ40%ほどしか受講していませんが、受講評を書かなければと思い投稿します。 ディープラーニング関連の講義もたくさん受けてきましたし、それなりに有名で評判の良い方の講義も受けてみましたが、この講義ほどスッキリとまとまった講義はありませんでした。 一番良いのは、講義資料のクオリティが素晴らしいことです。エクセルで行列計算を一つひとつ書き留めてくださっていますが、復習の際に本当に役立ちます。Pythonのコードも多くの場所にコメントが付けられています。 講義の質も高く、受講生が忘れそうな部分はリマインドしてくれるので、聞き逃すことがなくて良かったです。計算も、他の講義では大抵1、2回見せて終わりですが、この講義では最後まで一緒に計算してくれるので、確実で良かったです。 Q&Aも頻繁にチェックされているのか、質問を投稿するとすぐに回答をいただけるので助かりました。講義はおそらく今年撮影されたものだと思いますが、そのせいか最新トレンドの内容が多くて良いです。 まだ口コミが広まっていない講義のようですが、関連するトピックで勉強が必要な方に本当に強くおすすめします。
5.0
logt
完走しました〜!良質な教育を提供していただき、本当にありがとうございます!!Q&Aに記録を残したことを除けば、Windows環境ですべての実習を行うのに問題ありませんでした〜!
5.0
Jang Jaehoon
良い講義をありがとうございました!
トランスフォーマーモデルのエンコーダ・デコーダ構造と核心的な動作原理の理解
MHA、MQA、GQA、MLAなど、最新のアテンションメカニズムの発展の流れを理解
現在AIサービングの事実上の標準であるvLLMエンジンの活用方法の実習
vLLMサービング環境におけるTTFT、TPOTなどの主要パフォーマンス指標のモニタリング
Tensor/Pipeline/Data Parallelを活用したマルチGPUアーキテクチャの設計および実装
Agent AIの核心概念とTool Callingの動作原理の理解
実際の現場の視点におけるAIシステムパイプラインの構築および性能モニタリングの経験
最新の論文に基づき、MLA、MTP、エングラムなどの最新LLMトレンドを理解
自律型AIエージェントの時代には
OpenAI、Claude、Codexなど、さまざまなエージェントツールやPublic APIを活用できます。
しかし、実際のサービス環境では
データセキュリティ、ネットワークコスト、トークンコスト、GPUリソース管理までを併せて考慮する必要があります。
そこで重要なのは
Public APIと自社GPUベースのLLMを状況に合わせて組み合わせる
ハイブリッドAIアーキテクチャへの理解です。
sao cho phù hợp với từng tình huống.
それでは、Public APIだけを使うことが常に最善なのでしょうか?
必ずしもそうではありません。
最近では、public API(chatGPT, Claude, Sonnet etc.) に匹敵する
LLMが国内外で多数開発されています。
しかし、LLMを正しく理解して使いこなすのは容易ではありません。
高価なGPUを購入しておきながら、
LLMを理解して使用するのと理解せずに使用するのとでは、
大きな差が生じます。
大エージェント時代を迎え、今は学習よりも推論の時代です。パブリックAPIを使いこなすことも必要ですが、多くの企業ではセキュリティ、ガバナンス、コストなど様々な理由から、ローカル環境でのサービング環境構築を好んでいます。ローカル環境でのLLMサービング環境を構築するためのLLMアーキテクチャの理解から、アーキテクチャ構成、LLM開発トレンドまで、すべてを学んでみてください。
Hugging Faceに公開されている数多くのLLMを、理解した上で使いこなす必要があります。
しかし、LLMモデルのスペックを示すconfig.jsonファイルは、初心者にとっては暗号も同然です。なぜなら、トランスフォーマー(transformer)モデルを理解していなければ読み解くことができないからです。
ですがご安心ください。この講義を受ければ、主要なスペックを見て理解できる専門家になることができます。
(チャプター3-5の部分の内容です。残りの主要パラメータについてすべて学んでいってください)
現在LLMモデルの基盤となっているトランスフォーマーモデルの始まりと終わりは、アテンションです。
attention-model は2017年に登場しましたが、
いまだに10年近く最強のアルゴリズムとして君臨しています。
トランスフォーマー構造から脱却するための多くの努力がなされていますが、
今のところトランスフォーマーのアテンションを完全に代替するアーキテクチャは現れていません。
⚠️ アテンションは、なんとなく理解するだけでは決して不十分です。
(チャプター5-4部分の内容です。アテンションの発展の流れが、すなわちLLMの発展の流れです)
大規模なLLMの駆動と高速な推論のために、マルチGPU構成は必須です。
しかし、マルチGPU構成にもさまざまな方法があることをご存知ですか?
トランスフォーマーとアテンション構造を学んでみたかったけれど、
複雑な数式や概念のせいで難しさを感じていた方
ChatGPTや生成型AIサービスを使ってみたことはあるが、
LLMが実際にどのように動作するのか、その原理を理解したい方
LLMアーキテクチャとGPU環境を理解し、
実際のAIシステムを構築・運用する能力が必要なAIエンジニア
トランスフォーマーモデルの理解
トークナイザー & エンベディング
Encoder vs Decoder
モデルのソースコードを見る
Decoderモデル攻略
アテンションをマスターする
Masked アテンション
KVキャッシュ
vLLM Serving
Paged Attention
OpenAI Compatible
SSE Protocol
Tool Callの理解
Tool応答アーキテクチャ
チャットテンプレート
Tool call parser
性能テスト
vLLM モニタリング
マルチGPU & Parallelism
vLLMの追加機能
Multi Token Prediction
mHC
Engram
限界克服のための努力
数式なしで学ぶアテンションの核心原理
数式を使わず、エクセルを通じて直感的に多様なアテンション技法を学びます (MHA → MQA → GQA, Sliding Window アテンション)
3層構造のAIアーキテクチャ実装
OpenWebUIとFastAPI、vLLMへと繋がる3Tierアーキテクチャの基本構造を理解し、Tool連動の基本的な流れを学びます
vLLM運用のための同時ユーザー数測定とTips
jMeterを使用してFastAPI → vLLMの負荷テストを行い、同時ユーザー数に応じたTTFT、TPOTなどの指標を確認します。
vLLMサービスのモニタリング
Prometheus & Grafana ダッシュボードパイプラインを構築し、vLLM サービスの運用に関する基本原理を習得します。
シングルGPU / マルチGPUテスト
3つの基本マルチGPU(Pipeline Parallel、Tensor Parallel、Data Parallel)の実習を通じて、なぜマルチGPUが必要なのかを直接目で見て確認します。
LLM開発トレンドを攻略する
DeepSeekのMTP、Shared MoE、MLA、Engramなどの最新手法や、推論効率化のために進められているLLM開発トレンドを紹介します。
vLLMシステムの構築はRunpodを活用して行われます。また、Google ColabのT4 GPUを活用した実習も並行して行います。T4 GPUは15GBのGPUメモリを提供しているため、Colabで可能な実習はColabで進めます。
OpenWebUI → FastAPI → Runpod フローに基づいた実習環境を構築します。Runpod クラウドの GPU サーバーに vLLM を載せて、さまざまな実習を進めます。
実習のために約$10〜$20程度の費用が発生します。
人工知能(AI)実習の標準環境とも言えるGoogle Colabは、Runpod環境を必要としない単純な実習のために活用します。Proではない一般的な無料ティアで進行し、T4 GPUを活用します。
vLLMサービスはRunpod上で起動しますが、
講義を受講されるローカルコンピュータでもOpenwebUIおよびFastAPIが駆動します。
したがって、以下の受講環境が満たされているか確認してください!
vLLMのアップデート速度は非常に速いです。しかし、メジャーバージョンはまだ0系に留まっています。
ですが、多くの企業で事実上の標準(デファクトスタンダード)としてvLLMを推論エンジンに使用しています。
現在LLMの主軸を成すTransformerモデルだけでなく、代替案として登場した Mamba アーキテクチャまでvLLMでサポートされており、Multi Token Predictionのようにモデルに新しい機能が追加されると、それをサポートするためにvLLMは毎回アップデートされます。
本講義も、新しいvLLMの機能や新しいモデルタイプが登場すれば、講義がアップデートされる予定です。
学習対象は
誰でしょう?
ChatGPTや生成AIを使用しているが、LLMが実際にどのように動作するのかを理解したい実務家
AIエンジニアを目指して、LLMサービングとシステム構造を体系的に学びたい入門者
複雑な数式なしで、トランスフォーマーとアテンション構造を実務的な観点から理解したい開発者
GPU最適化とマルチGPU環境における実際のAIシステム構築フローを理解したいバックエンド・インフラエンジニア
AIサービス企画および開発プロセスにおいて、LLMの構造とGPU活用戦略を理解したいPM・企画者
前提知識、
必要でしょうか?
Pythonの基本文法に関する理解(変数、関数、条件文など)
Gitの基本的な使い方
インフラン認証
1,602
受講生
109
受講レビュー
241
回答
4.9
講座評価
3
講座
こんにちは。
大手企業でデータ&AI分野に携わっている17年目の現役エンジニアです。
情報管理技術士を取得して以来、これまで得た知識を多くの人々と共有するためにコンテンツを制作しています。
はじめまして。 :)
Contact: hjkim_sun@naver.com
全体
54件 ∙ (14時間 27分)
講座資料(こうぎしりょう):
3. ローカルLLM構築の必要性
13:37
5. トークナイザー
22:53
6. 埋め込み
17:43
7. トランスフォーマーを理解する
21:23
8. Attentionメカニズム
16:57
9. encoderモデルの詳細を見る
18:05
10. decoderモデルの詳細を見る
11:30
11. headを理解する
16:35
12. エンコーダ vs デコーダ
09:17
13. モデルのソースコードを表示
09:35
全体
10件
5.0
10件の受講レビュー
受講レビュー 11
∙
平均評価 5.0
受講レビュー 3
∙
平均評価 5.0
修正済み
5
私はディープラーニング関連の職種ではありませんが、コンピュータビジョン(ルールベース)の分野で働いています。会社でLLMとビジョン系のディープラーニング技術が必要になり、関連するトピックを勉強しています。 まだ40%ほどしか受講していませんが、受講評を書かなければと思い投稿します。 ディープラーニング関連の講義もたくさん受けてきましたし、それなりに有名で評判の良い方の講義も受けてみましたが、この講義ほどスッキリとまとまった講義はありませんでした。 一番良いのは、講義資料のクオリティが素晴らしいことです。エクセルで行列計算を一つひとつ書き留めてくださっていますが、復習の際に本当に役立ちます。Pythonのコードも多くの場所にコメントが付けられています。 講義の質も高く、受講生が忘れそうな部分はリマインドしてくれるので、聞き逃すことがなくて良かったです。計算も、他の講義では大抵1、2回見せて終わりですが、この講義では最後まで一緒に計算してくれるので、確実で良かったです。 Q&Aも頻繁にチェックされているのか、質問を投稿するとすぐに回答をいただけるので助かりました。講義はおそらく今年撮影されたものだと思いますが、そのせいか最新トレンドの内容が多くて良いです。 まだ口コミが広まっていない講義のようですが、関連するトピックで勉強が必要な方に本当に強くおすすめします。
こんにちは、Wonjune leeさん。 心のこもった受講レビューをいただき、ありがとうございます! 受講生の皆様が十分に意味のある資料を受け取り、後で見返してもしっかりと復習ができるよう、講義資料のクオリティを高めるために試行錯誤を重ねました。 また、アテンションのような演算をどのように伝えれば効果的に伝わるかについても、深く悩みました。 私が出した結論は、数式だけで見てもいけないし、単に簡単な比喩で伝えてもいけない、そしてPyTorchのコードだけで説明してもいけないということでした。 目で流れを追いながら見てこそ理解できると考え、エクセルで最大限説明させていただきましたが、うまく伝わったようでとても嬉しいです :) 残りの部分もぜひ最後まで受講して、良い内容を吸収していただければと思います。 応援しています!
受講レビュー 9
∙
平均評価 4.8
5
初めて受講しますが、とても助かっています。^-^
nova7tr様、こんにちは。 受講レビューをいただき、ありがとうございます。 お役に立てたようで、私も嬉しいです。 残りの部分も楽しく受講していただければと思います :)
受講レビュー 935
∙
平均評価 4.9
5
良い講義をありがとうございました!
Jang jaehoonさん、こんにちは。 受講レビューありがとうございます👍 現在7%受講されていますね。残りの部分も楽しく学んで、ぜひお役に立てれば幸いです。 応援しています!
受講レビュー 3
∙
平均評価 5.0
知識共有者の他の講座を見てみましょう!
同じ分野の他の講座を見てみましょう!