[VLM101] ファインチューニングでマルチモーダルチャットボット作成 (feat.MCP)

💡このような受講生に必要な講義

😤 「APIだけを書くのが苦しいです」

• ChatGPT APIでサービスを作成しましたが、費用も負担され、制約も多くて苦しい方

• ブラックボックスのようなAIモデルの内部が気になって直接触ってみたい方

💸 「AIサービス運営費が高すぎる」

• OpenAI Vision API呼び出しのコストがかかり、独自のモデル構築を検討しているスタートアップ開発者

• 大量の画像処理が必要なサービスを企画中の方

🚀 「マルチモーダルAIの専門家になりたい」

• AI開発者としてキャリアを発展させたいのですが、テキストベースのLLMだけを扱った方

• ポートフォリオに差別化されたプロジェクトを追加したい就職準備生

🤔 「VLMが正確に何であるかわからない」

• AIトレンドはフォローしたいのですが、マルチモーダルが何なのか、VLMが何なのか正確に理解できない方

• 画像とテキストを同時に処理するAIの原理が気になる方

💡受講後に得られる具体的な変更

🎯即活用可能な実務スキル

受講完了後は、以下の実戦プロジェクトを一人で行うことができます。

• 独自のVLMサービス：特定ドメイン（医療、教育、ショッピングなど）に特化したイメージ分析チャットボット

• ローカルAIワークフロー：MCPを活用して複数のAIツールが連携する自動化システム

• 費用対効果の高い AI サービス: API 依存性を低減し、独自のモデルで運用するサービス

📈キャリア発展のためのポートフォリオ

• GitHubリポジトリ：フル練習コードとトレーニングされたモデルをまとめた完成度の高いレポジトリ

• 技術ブログ素材：VLMファインチューニングプロセスと結果をまとめた技術投稿作成可能

• 面接経験談：「直接VLMをファインチューニングしてみた経験」で差別化された面接ストーリー

🧠深い理解と応用力

単純な使い方を超えて：

• VLMの内部動作原理を完全に理解し、新しいモデルも迅速に学習可能

• Quantization、GGUF変換などのモデル最適化手法を他のプロジェクトにも適用

• MCPエコシステムを活用したAIワークフロー設計能力

練習環境

• 講義はMacOSで説明します。 Windowsマシンの場合、dockerがインストールされている場合は、ほとんど従うことができます。

• 講義では cursor を使用します。 vscodeのバージョンも無理なく従うことができると思います。

• クラウド環境

  • RunPod : GPUインスタンスレンタルサービス、H100またはA100の使用

  • 予想費用：総実践基準10ドル

  • 利点：複雑な環境設定なしですぐに練習可能

  • ⚠注意事項

    • RunPodアカウントの作成と支払いカードの登録が必要

学習資料

• 添付するPDFとソースコードを確認してください

選手の知識と注意事項

• LLMに関する知識(以前のLLM 101講義を参照)

• 基本的なPython文法（クラス、関数、モジュールを使用）

• ディープラーニング/マシンラーニング基礎概念（ニューラルネットワーク、トレーニング、推論など）

• GPU環境でのモデルトレーニング経験があれば良いです（必須ではありません）

• ターミナル/コマンドの使用に慣れれば役に立ちます