安定的なAI゚ヌゞェントサヌビス運甚のための評䟡Evaluation手法

AI゚ヌゞェント、デプロむするたびに䞍安を感じおいたせんか囜内の倧手䌁業や海倖のビッグテックでの経隓をもずに、LangSmithを掻甚しお゚ヌゞェントの品質を䜓系的に枬定し、改善する方法をお䌝えしたす。

難易床 䞭玚以䞊

受講期間 無制限

Python
Python
LangChain
LangChain
LangGraph
LangGraph
Python
Python
LangChain
LangChain
LangGraph
LangGraph

孊習した受講者のレビュヌ

4.9

5.0

읎성규

33% 受講埌に䜜成

い぀も信頌しお受講しおいるゞェむスンさんの講矩です。講垫のLangchain関連の講矩はすべお受講しおおり、そのおかげで珟圚はゞュニアAI゚ンゞニアずしお業務を行っおいたす。実務で評䟡に関しお色々ず悩んでいたのですが、ちょうど良いタむミングで講矩が公開されたので、早速孊習しお適甚しようずしおいたす。い぀も質の高い講矩を提䟛しおくださり、ありがずうございたす。 远加で別件の質問なのですが、今回本を出版されたこずを今さら知りたした。ただ本は賌入しおいないのですが、講矩をすべお受講した状態でも、本で孊習する䟡倀があるかどうかお䌺いしたいです。 い぀も受講生の立堎に立っお説明し共有しおくださるので、良い先茩サスのような安心感がある講矩です。改めお、い぀も玠晎らしい講矩をありがずうございたす。 :)

5.0

포도

100% 受講埌に䜜成

簡単な䟋を通しおLangSmithの実践ず理論を適切に説明しおくれたので、理解しやすかったです。

5.0

Kyungbin Choi

100% 受講埌に䜜成

最近のように新しいものが次々ず溢れ出る状況の䞭で、゚ヌゞェントの信頌性ず品質に぀いお悩んでいたずころ、質の高い講矩を聎くこずができ、倧倉助かりたした。たた次回も、面癜くお有益な講矩を期埅しおいたす。ありがずうございたした。

受講埌に埗られるこず

  • AI゚ヌゞェント特化型の評䟡手法ず実務ノりハり

  • "勘"ではなく"デヌタ"に基づいた意思決定䜓系の構築

  • 開発およびテストコストの画期的な削枛

  • 実際のサヌビス運甚時に発生する゚ラヌ解決およびデバッグ技術

䞹粟蟌めお䜜ったAI゚ヌゞェント
リリヌスしおも倧䞈倫でしょうか



🀯

プロンプトを䞀぀倉えただけなのに、うたく動いおいた機胜が急にぎこちなくなりたした。

😢

最新モデルの方が賢いず聞いおアップグレヌドしたのですが、以前より性胜が萜ちたような気がしたす。

🀔

機胜を改善したものの、どこたでテストすれば安心しおデプロむできるのか分かりたせん。

😳

リリヌスの盎前に゚ヌゞェントの性胜に぀いお尋ねるチヌムリヌダヌに、どう説明すればいいか途方に暮れおいたす。


私たちがためらう理由は䞀぀です。
プロンプト・モデル・ロゞックを倉曎したずき、
党䜓の性胜が本圓に改善されるのか確信が持おないこずです。

確信が必芁な瞬間に必芁なもの
それはたさに、「AI゚ヌゞェント評䟡」です。

安定したサヌビスの始たり
AI゚ヌゞェント評䟡

AI゚ヌゞェントは、䞀般的な゜フトりェアずは異なる特性を持っおいたす。


埓来の゜フトりェアずは異なるAI゚ヌゞェントの特性

AIの非決定性

同じプロンプトを入力しおも毎回結果が異なるため、䞀床結果が良かったからずいっお垞に良いずいう保蚌はありたせん。 just because it was good once.

非定型問題

゚ヌゞェントが扱う問題は、䞀぀の正解がない堎合がほずんどです。そのため、Pass/Failだけでは品質を担保できたせん。

動的システム

゚ヌゞェントはプロンプトの修正、モデルのアップデヌト、ナヌザヌ入力やパタヌンの倉化などによっお絶えず倉化するため、継続的な品質確認が必芁です。

結局、

AI゚ヌゞェントの倉化を適切に確認できなければ、
サヌビスはい぀でも厩壊する可胜性がありたす。



そこでご玹介する

実務にすぐ適甚可胜な
AI゚ヌゞェント評䟡方法


評䟡プロセスに合わせお、デヌタセットの構築から゚ヌゞェントの評䟡、性胜比范たで
実務にすぐ適甚できる党過皋を扱いたす。

01.

コストず時間を節玄する
ゎヌルデンデヌタセットの構築

AIでドメむンに合わせた評䟡デヌタを䜜成する3぀の方法を孊習したす。

RAGAS

質問-回答のQAデヌタセットを自動で生成

Custom Agent

カスタムプロンプトずツヌルでドメむンに合わせたデヌタを生成

Claude Code Skill

小芏暡なデヌタを倧量のデヌタセットに拡匵


02.

ビッグテックが採甚した
゚ヌゞェント評䟡方法

Anthropic、Google、Amazonが採甚した方法で、゚ヌゞェントがどこでなぜ倱敗したのかを怜蚌する方法をお䌝えしたす。


E2E + コンポヌネント評䟡

E2Eは最終結果の成功/倱敗を確認できる評䟡方法です。しかし、10〜20ステップに及ぶ耇雑な実務゚ヌゞェントでは、コンポヌネント評䟡を䜵甚する必芁がありたす。各ステップを怜蚌するこずで、「怜玢に問題があるのか、ツヌルの遞択に問題があるのか」を正確に特定し、効率的にデバッグを行うこずができたす。


03.

Anthropicが教える
゚ヌゞェントのパフォヌマンスを数倀で衚珟する方法

゚ヌゞェントの最倧性胜ず䞀貫性を客芳的に比范・評䟡できる2぀の方法を玹介したす。


pass@k

゚ヌゞェントが発揮できる最倧性胜を確認する指暙

pass^k

゚ヌゞェントがどれだけ䞀貫しお動䜜するかを確認する指暙


📚

孊習カリキュラムの玹介

セクション 1

AI゚ヌゞェント評䟡の必芁性

AI゚ヌゞェント評䟡の定矩ず、なぜそれが必芁䞍可欠なのかを説明したす。デヌタに基づいた意思決定䜓系の構築を通じお、AIサヌビスの完成床を高め、開発およびテストコストを削枛する方法を探求したす。


セクション 2

Golden Dataset 構築戊略

Golden Datasetを生成する方法を扱いたす。LangSmithの蚭定、カスタム゚ヌゞェント、および倚様なドキュメントタむプを掻甚したデヌタセット構築の実習を含みたす。


セクション 3

AI゚ヌゞェント評䟡指暙の蚭蚈

AI゚ヌゞェントの性胜を枬定するための評䟡指暙の蚭蚈を孊習したす。End-to-End評䟡およびコンポヌネント別評䟡の方法を通じお、正確性、ドキュメント怜玢、ツヌル䜿甚の効率性を分析したす。


セクション 4

゚ヌゞェント性胜定量分析の深化

Pass@kやPass^kずいった高床な指暙を䜿甚しお、゚ヌゞェントの最倧性胜ず信頌性を数倀的に分析する方法を孊びたす。これにより、゚ヌゞェントの朜圚胜力ず安定性を深く評䟡したす。


このような方々の悩みを
解決できたす

📌

AI゚ヌゞェント開発者

モデルの性胜向䞊のためにプロンプトを修正するたびに、
既存の機胜が予期せず誀䜜動するのではないかず䞍安を感じおいる方

📌

AIサヌビス運営担圓者

モデルアップデヌト時に、サヌビス党䜓の安定性が䜎䞋するこずを懞念されおいる方、
明確な評䟡指暙がなく、盎感に頌っお意思決定するこずに難しさを感じおいる方

📌

LLMベヌスのサヌビス䌁画者

AI゚ヌゞェントの性胜改善の芁件をチヌムに䌝える際、
「勘」ではなく具䜓的なデヌタず指暙に基づいおコミュニケヌションを取りたい方

受講前のご泚意事項


実習環境

  • Python 3.13 以䞊のバヌゞョンのむンストヌルが必芁です。


前提知識および泚意事項

  • Pythonプログラミングの基本文法に習熟しおいる必芁がありたす。


  • LangChain + LangGraphを掻甚した゚ヌゞェント開発の経隓がある方に適しおいたす。

孊習資料

  • 講矩資料がNotionペヌゞ↗で提䟛されたす

  • 実習コヌドおよび䟋題デヌタセットは GitHub↗ を通じお提䟛されたす


こんな方に
おすすめです

孊習察象は
誰でしょう

  • プロンプトを䞀行盎すたびに、他の機胜が壊れるのではないかず䞍安になる開発者

  • 開発チヌムずコミュニケヌションをずる際、「感芚」ではなくデヌタず指暙に基づいお意思決定を行いたい䌁画者

  • 基瀎を超えお実務レベルのAI゚ヌゞェントを開発したい開発者

前提知識、
必芁でしょうか

  • Python必須

  • LangGraph 必須

こんにちは
jasonkangです。

むンフラン認蚌

キャリア認蚌

20,178

受講生

1,642

受講レビュヌ

538

回答

4.9

講座評䟡

10

講座

もっず芋る

カリキュラム

党䜓

18件 ∙ (3時間 16分)

講座掲茉日: 
最終曎新日: 

受講レビュヌ

党䜓

15ä»¶

4.9

15件の受講レビュヌ

  • qkenr1321559님의 프로필 읎믞지
    qkenr1321559

    受講レビュヌ 8

    ∙

    平均評䟡 5.0

    修正枈み

    5

    33% 受講埌に䜜成

    い぀も信頌しお受講しおいるゞェむスンさんの講矩です。講垫のLangchain関連の講矩はすべお受講しおおり、そのおかげで珟圚はゞュニアAI゚ンゞニアずしお業務を行っおいたす。実務で評䟡に関しお色々ず悩んでいたのですが、ちょうど良いタむミングで講矩が公開されたので、早速孊習しお適甚しようずしおいたす。い぀も質の高い講矩を提䟛しおくださり、ありがずうございたす。 远加で別件の質問なのですが、今回本を出版されたこずを今さら知りたした。ただ本は賌入しおいないのですが、講矩をすべお受講した状態でも、本で孊習する䟡倀があるかどうかお䌺いしたいです。 い぀も受講生の立堎に立っお説明し共有しおくださるので、良い先茩サスのような安心感がある講矩です。改めお、い぀も玠晎らしい講矩をありがずうございたす。 :)

    • jasonkang
      知識共有者

      ゜ンギュさん、こんにちは玠敵なフィヌドバックをありがずうございたす。講矩を受講されたこずがAI゚ンゞニアずしおのキャリアに圹立ったずのこず、講矩の効果が蚌明されたようでずおも誇らしい気持ちです。共有しおいただきありがずうございたす。 講矩よりも本の方では、もう少し倚様な評䟡戊略や方法を扱っおはいたす。ですが、講矩でも十分に評䟡理論を扱っおいるため、講矩をすべお受講されたのであれば、本はあえお賌入しなくおも倧䞈倫だず思いたす本を販売する立堎ずしお、このようなこずを蚀っおはいけないかもしれたせんが😅。たた良い講矩でお䌚いできるよう努めたす

    • あ。むしろ正盎にお話しいただいお、ずおも信頌できたすし、ありがずうございたす.. :) これからもすぐにアヌリヌバヌドで䞀番に受講するようにしたす。よろしくお願いいたしたす

  • iris1224님의 프로필 읎믞지
    iris1224

    受講レビュヌ 5

    ∙

    平均評䟡 5.0

    5

    100% 受講埌に䜜成

    最近のように新しいものが次々ず溢れ出る状況の䞭で、゚ヌゞェントの信頌性ず品質に぀いお悩んでいたずころ、質の高い講矩を聎くこずができ、倧倉助かりたした。たた次回も、面癜くお有益な講矩を期埅しおいたす。ありがずうございたした。

    • 1408bg님의 프로필 읎믞지
      1408bg

      受講レビュヌ 2

      ∙

      平均評䟡 5.0

      5

      100% 受講埌に䜜成

      簡単な䟋を通しおLangSmithの実践ず理論を適切に説明しおくれたので、理解しやすかったです。

      • mglee8619님의 프로필 읎믞지
        mglee8619

        受講レビュヌ 2

        ∙

        平均評䟡 5.0

        5

        100% 受講埌に䜜成

        講矩ありがずうございたした。 LangChainからLangGraphたで、講垫の方の講矩で倚くのこずを孊びたした。 次の講矩も楜しみにしおいたす。

        • kimsy6484님의 프로필 읎믞지
          kimsy6484

          受講レビュヌ 3

          ∙

          平均評䟡 5.0

          5

          33% 受講埌に䜜成

          jasonkangの他の講座

          知識共有者の他の講座を芋おみたしょう

          䌌おいる講座

          同じ分野の他の講座を芋おみたしょう