inflearn logo

[Chuyên đề Trung thu] Kỹ sư phát triển tại Thung lũng Silicon giới thiệu về kỹ thuật xây dựng harness đánh giá LLM

Nếu bạn từng gặp khó khăn trong việc xác định liệu chất lượng câu trả lời có giảm so với trước hay không sau khi thay đổi prompt hoặc mô hình trong quá trình xây dựng dịch vụ sử dụng LLM, khóa học này có thể là giải pháp dành cho bạn. Bạn sẽ học cách tự xây dựng tiêu chí đánh giá và tự động tìm ra những câu trả lời đã thay đổi.

36 học viên đang tham gia khóa học này

Độ khó Cơ bản

Thời gian Không giới hạn

JavaScript
JavaScript
TypeScript
TypeScript
Business Productivity
Business Productivity
AI
AI
ChatGPT
ChatGPT
JavaScript
JavaScript
TypeScript
TypeScript
Business Productivity
Business Productivity
AI
AI
ChatGPT
ChatGPT

Bạn sẽ nhận được điều này sau khi học.

  • Triển khai công cụ thu thập và đánh giá định lượng·định tính các phản hồi của LLM

  • Xác minh sự khác biệt về chất lượng trước và sau khi thay đổi prompt và mô hình bằng kiểm thử hồi quy

  • Cách thiết kế tập dữ liệu đánh giá và tiêu chí đánh giá LLM rõ ràng

  • Xây dựng quy trình đánh giá đáng tin cậy bằng cách kết hợp LLM Judge và đánh giá dựa trên quy tắc

  • Theo dõi các phản hồi thất bại để phân tích nguyên nhân vấn đề nằm ở prompt, tìm kiếm hay mô hình

  • Kết nối kết quả đánh giá với CI/CD để liên tục quản lý chất lượng dịch vụ LLM

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Nhà phát triển vận hành dịch vụ LLM và cần xác minh tác động của những thay đổi về prompt và mô hình.

  • Nhà phát triển muốn đánh giá một cách có hệ thống chất lượng câu trả lời của dịch vụ LLM Agent và RAG

  • Nhà phát triển dịch vụ AI gặp khó khăn khi bắt đầu kiểm định chất lượng vì không có tập dữ liệu và tiêu chuẩn đánh giá

  • Nhà phát triển muốn tự động hóa kiểm thử thủ công và triển khai kiểm thử hồi quy trước khi phát hành

  • Nhà phát triển muốn hoàn thiện thành một dự án bộ khung đánh giá LLM có thể áp dụng ngay vào công việc thực tế

Xin chào
Đây là Hong

Xác minh Inflearn

Xác minh sự nghiệp

10,139

Học viên

625

Đánh giá

169

Trả lời

4.8

Xếp hạng

34

Các khóa học

Tôi bắt đầu học lập trình sau một thời gian dài lười biếng ở nhà và cảm thấy hứng thú với nó, hiện tại tôi đang đảm nhận việc phát triển máy chủ nền tảng (platform server) tại Pangyo. Tôi tiếp tục hoạt động với tư cách là người chia sẻ kiến thức vì muốn cung cấp cho các bạn phương pháp tôi đã học cũng như những vấn đề và giải pháp khác nhau mà các bạn có thể gặp phải trong thực tế.

 

Bài giảng không chỉ được tạo ra từ kiến thức của riêng tôi. Mọi bài giảng đều có sự đồng hành của những người cộng sự.

 

[Kinh nghiệm của người chia sẻ kiến thức]

[Cựu] Nhà phát triển blockchain liên quan đến Sandbox IP

[Cựu] Nhà phát triển Backend Metaverse

[Hiện tại] Nhà phát triển server đang làm việc lâu năm tại Pangyo

 

[Lịch sử phỏng vấn]

[Yêu cầu khác]

[Trang web chính thức]

Thêm

Chương trình giảng dạy

Tất cả

23 bài giảng ∙ (5giờ 21phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Khóa học khác của Hong

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Ưu đãi có thời hạn

43.560 ₫

60%

2.269.575 ₫