[VLM101] ファインチューニングでマルチモーダルチャットボットを作る (feat.MCP / RunPod)

💡 こんな受講生に必要な講義

😤「APIを使うだけじゃ物足りない」

• ChatGPT APIでサービスを作ったものの、コストも負担で制約も多くてもどかしい方

• ブラックボックスのようなAIモデルの内部が気になって、直接触ってみたい方

💸「AIサービスの運営費が高すぎます」

• OpenAI Vision APIの呼び出しコストが負担になり、自社モデルの構築を検討中のスタートアップ開発者

• 大量の画像処理が必要なサービスを企画中の方

🚀「マルチモーダルAI専門家になりたいです」

• テキストベースのLLMしか扱ったことがないが、AI開発者としてキャリアを発展させたい方

• ポートフォリオに差別化されたプロジェクトを追加したい就職準備生

🤔「VLMが正確に何なのか分かりません」

• AIトレンドは追いかけたいけれど、マルチモーダルとは何か、VLMとは何か正確に理解できていない方

• 画像とテキストを同時に処理するAIの原理が気になる方

💡 受講後に得られる具体的な変化

🎯 すぐに活用できる実務スキル

受講完了後には、次のような実践プロジェクトを一人でも進めることができます:

• 自分だけのVLMサービス: 特定ドメイン(医療、教育、ショッピングなど)に特化した画像分析チャットボット

• ローカルAIワークフロー: MCPを活用して複数のAIツールが協業する自動化システム

• コスト効率的なAIサービス: API依存度を減らし、独自モデルで運営するサービス

📈キャリア発展のためのポートフォリオ

• GitHubリポジトリ: 全体の実習コードと訓練されたモデルを整理した完成度の高いリポジトリ

• 技術ブログのネタ: VLMファインチューニングの過程と結果をまとめた技術記事の作成が可能

• 面接体験談: 「直接VLMをファインチューニングした経験」で差別化された面接ストーリー

🧠 深い理解と応用力

単純な使い方を超えて:

• VLMの内部動作原理を完全に理解し、新しいモデルも素早く学習可能

• Quantization、GGUF変換などのモデル最適化技法を他のプロジェクトにも応用

• MCPエコシステムを活用したAIワークフロー設計能力

実習環境

• 講義はMacOS基準で説明します。Windowsマシンの場合、dockerがインストールされていればほとんど問題なくついてこられます。

• 講義ではcursorを使用します。vscodeバージョンでも無理なくついてこられると思います。

• クラウド環境

  • RunPod: GPUインスタンスレンタルサービス、H100またはA100を使用

  • 予想費用: 全体実習基準10ドル

  • 利点: 複雑な環境設定なしですぐに実習可能

  • ⚠ 注意事項

    • RunPodアカウントの作成と決済カードの登録が必要

学習資料

• 添付するPDFおよびソースコードをご確認ください

事前知識および注意事項

• LLM関連知識(以前のLLM 101講義参照)

• 基本的なPython文法（クラス、関数、モジュールの使用）

• ディープラーニング/機械学習の基礎概念（ニューラルネットワーク、訓練、推論など）

• GPU環境でのモデル訓練経験があれば良いです（必須ではありません）

• ターミナル/コマンドの使用に慣れていると役立ちます