inflearn logo
知識共有
inflearn logo

[秋夕特集] シリコンバレーの開発者が教えるLLM評価ハーネスエンジニアリング

LLMを活用したサービスを作る中で、プロンプトやモデルを変更した後、以前より回答の品質が低下したかどうかを確認するのが難しかった経験があるなら、この講義が解決策になるかもしれません。自分で評価基準を作成し、変化した回答を自動的に見つけ出す方法を学びます。

36名 が受講中です。

難易度 初級

受講期間 無制限

JavaScript
JavaScript
TypeScript
TypeScript
Business Productivity
Business Productivity
AI
AI
ChatGPT
ChatGPT
JavaScript
JavaScript
TypeScript
TypeScript
Business Productivity
Business Productivity
AI
AI
ChatGPT
ChatGPT

受講後に得られること

  • LLMの応答を収集し、定量・定性評価するツールの実装

  • プロンプトとモデルの変更前後における品質差を回帰テストで検証

  • 評価データセットと明確なLLM評価基準の設計方法

  • LLM Judgeとルールベース評価を組み合わせ、信頼性の高い評価パイプラインを構築する

  • 失敗した応答を追跡し、プロンプト・検索・モデルのうち問題の原因を分析する

  • 評価結果をCI/CDに連携し、LLMサービスの品質を継続的に管理する

こんな方に
おすすめです

学習対象は
誰でしょう?

  • LLMサービスを運用し、プロンプトやモデル変更の影響を検証する必要がある開発者

  • LLM AgentとRAGサービスの回答品質を体系的に評価したい開発者

  • 評価データセットと基準がなく、品質検証を始めるのが難しいAIサービス開発者

  • 手動テストを自動化し、デプロイ前の回帰テストを導入しようとしている開発者

  • 実際の業務にすぐ適用できるLLM評価ハーネスをプロジェクトとして完成させたい開発者

こんにちは
Hongです。

インフラン認証

キャリア認証

10,139

受講生

625

受講レビュー

169

回答

4.8

講座評価

34

講座

家でだらだら過ごしていたところ、開発に興味を持ち勉強を始め、現在は板橋(パンギョ)でプラットフォームサーバーの開発を担当しています。私が勉強してきた方法や、実務で直面する可能性のある様々な問題点とその解決策を皆さんに提供したいと思い、知識共有者としての活動を続けています。

 

講義は私一人の知識だけで作られるものではありません。すべての講義には、共に作り上げてくださる方々がいます。

 

[知識共有者の経歴]

[前] サンドボックスIP関連ブロックチェーン開発者

[前] メタバースバックエンドエンジニア

[] 板橋(パンギョ)でベテランになりつつあるサーバー開発者

 

[インタビュー履歴]

[その他のお問い合わせ]

[公式サイト]

もっと見る

カリキュラム

全体

23件 ∙ (5時間 21分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

まだ十分な評価を受けていない講座です。
みんなの役に立つ受講レビューを書いてください!

Hongの他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!

期間限定セール

¥34

59%

¥13,729