
Phát triển ứng dụng LLM sử dụng RAG (feat. LangChain)
jasonkang
Học RAG từ người chiến thắng Hackathon GenAI Thung lũng Silicon. Đầy ắp bí quyết thực chiến.
Cơ bản
LLM, RAG, LangChain
Bạn có cảm thấy lo lắng mỗi khi triển khai AI Agent không? Dựa trên kinh nghiệm làm việc tại các tập đoàn lớn trong nước và các công ty công nghệ lớn (Big Tech) nước ngoài, tôi sẽ hướng dẫn bạn cách đo lường và cải thiện chất lượng Agent một cách hệ thống bằng cách sử dụng LangSmith.
209 học viên
Độ khó Trung cấp trở lên
Thời gian Không giới hạn
Đánh giá từ những học viên đầu tiên
5.0
이성규
Đây là bài giảng của Jason mà tôi luôn tin tưởng và đăng ký. Tôi đã theo học tất cả các khóa học liên quan đến Langchain của giảng viên và nhờ đó hiện đang làm việc với tư cách là một Kỹ sư AI cấp độ Junior. Tôi đã rất trăn trở về vấn đề đánh giá trong công việc thực tế, và thật may mắn là khóa học này ra mắt đúng thời điểm nên tôi đang cố gắng học hỏi nhanh chóng để áp dụng. Cảm ơn giảng viên vì đã luôn mang đến những bài giảng chất lượng tốt. Ngoài ra, tôi có một câu hỏi riêng là giờ tôi mới biết giảng viên vừa xuất bản sách. Tôi chưa mua sách, nhưng tôi muốn hỏi rằng dù đã nghe hết các bài giảng rồi thì việc học thêm qua sách có xứng đáng không ạ? Các bài giảng của thầy luôn giải thích và chia sẻ dưới góc độ của học viên nên mang lại cảm giác như một người tiền bối (senior) tận tâm vậy. Một lần nữa, cảm ơn thầy vì những bài giảng luôn tuyệt vời. :)
5.0
Kyungbin Choi
Trong lúc đang loay hoay suy nghĩ về độ tin cậy và chất lượng của Agent khi chứng kiến những thứ mới mẻ liên tục đổ bộ như dạo gần đây, tôi đã được nghe một bài giảng chất lượng và giúp ích cho tôi rất nhiều. Tôi rất mong đợi những bài giảng thú vị và bổ ích tiếp theo. Xin cảm ơn~
5.0
미르
Bài giảng rất hay ạ. Tôi đã học được rất nhiều điều từ các bài giảng của giảng viên, từ LangChain cho đến LangGraph. Tôi rất mong chờ các bài giảng tiếp theo.
Phương pháp luận đánh giá chuyên biệt cho AI Agent và bí quyết thực tiễn
"Thiết lập hệ thống ra quyết định dựa trên "dữ liệu" thay vì "cảm tính"
Giảm đáng kể chi phí phát triển và thử nghiệm
Kỹ thuật gỡ lỗi và giải quyết lỗi phát sinh khi vận hành dịch vụ thực tế
Chỉ thay đổi một câu lệnh prompt thôi mà chức năng đang hoạt động tốt bỗng nhiên trở nên chậm chạp.
Nghe nói mô hình mới nhất thông minh hơn nên tôi đã nâng cấp, nhưng dường như hiệu suất lại kém hơn trước.
Tôi đã cải thiện tính năng, nhưng không biết phải kiểm tra đến mức nào mới có thể yên tâm triển khai.
Tôi cảm thấy rất mông lung không biết phải giải thích thế nào với trưởng nhóm khi họ hỏi về hiệu suất của agent trước thềm triển khai.
Lý do chúng ta ngần ngại chỉ có một.
Khi thay đổi prompt, mô hình hoặc logic
chúng ta không chắc chắn liệu hiệu suất tổng thể có thực sự được cải thiện hay không
AI Agent có những đặc điểm khác biệt so với phần mềm thông thường.
Ngay cả khi nhập cùng một câu lệnh, kết quả mỗi lần đều có thể khác nhau, vì vậy việc kết quả tốt một lần không đảm bảo rằng nó sẽ luôn tốt.
Hầu hết các vấn đề mà agent xử lý đều không có một đáp án chính xác duy nhất. Do đó, không thể kiểm soát chất lượng chỉ bằng kết quả Đạt/Không đạt (Pass/Fail).
Vì các agent liên tục thay đổi do việc chỉnh sửa prompt, cập nhật mô hình, sự thay đổi của đầu vào/mẫu người dùng, v.v., nên việc kiểm tra chất lượng liên tục là rất cần thiết.
Rốt cuộc,
Vì vậy, chúng tôi sẽ cho bạn biết
Chúng tôi sẽ đề cập đến toàn bộ quá trình có thể áp dụng ngay vào thực tế, từ xây dựng bộ dữ liệu phù hợp với quy trình đánh giá cho đến đánh giá tác nhân (agent) và so sánh hiệu suất.
Nội dung bao gồm tất cả các bước có thể áp dụng trực tiếp vào công việc thực tế.
Học ba phương pháp tạo dữ liệu đánh giá phù hợp với từng lĩnh vực bằng AI.
Tự động tạo bộ dữ liệu QA (Câu hỏi-Đáp án)
Tạo dữ liệu phù hợp với lĩnh vực bằng các công cụ và lời nhắc tùy chỉnh
Mở rộng dữ liệu quy mô nhỏ thành bộ dữ liệu khổng lồ
Chúng tôi sẽ hướng dẫn bạn phương pháp được Anthropic, Google và Amazon áp dụng để kiểm chứng xem agent đã thất bại ở đâu và tại sao.
E2E là phương pháp đánh giá giúp xác định sự thành công hay thất bại của kết quả cuối cùng. Tuy nhiên, đối với các agent thực tế phức tạp trải qua từ 10 đến 20 bước, cần phải sử dụng kết hợp với đánh giá Component. Bằng cách kiểm chứng từng bước, bạn có thể xác định chính xác "vấn đề nằm ở việc tìm kiếm hay ở việc lựa chọn công cụ" để gỡ lỗi một cách hiệu quả.
Giới thiệu 2 phương pháp có thể so sánh và đánh giá khách quan hiệu suất tối đa cũng như tính nhất quán của agent.
Chỉ số xác nhận hiệu suất tối đa mà tác nhân có thể đạt được
Chỉ số kiểm tra mức độ hoạt động nhất quán của tác nhân
Phần 1
Giải thích định nghĩa về đánh giá AI Agent và lý do tại sao nó lại thiết yếu. Khám phá các phương pháp nâng cao độ hoàn thiện của dịch vụ AI và cắt giảm chi phí phát triển cũng như thử nghiệm thông qua việc thiết lập hệ thống ra quyết định dựa trên dữ liệu.
Phần 2
Nội dung này đề cập đến cách tạo Golden Dataset. Bao gồm thực hành xây dựng bộ dữ liệu bằng cách thiết lập LangSmith, sử dụng các agent tùy chỉnh và nhiều loại tài liệu khác nhau.
Phần 3
Học cách thiết kế các chỉ số đánh giá để đo lường hiệu suất của AI Agent. Thông qua các phương pháp đánh giá End-to-End và đánh giá theo từng thành phần, chúng ta sẽ phân tích tính chính xác, khả năng tìm kiếm tài liệu và hiệu quả sử dụng công cụ.
Phần 4
Bạn sẽ học cách phân tích định lượng hiệu suất tối đa và độ tin cậy của agent bằng cách sử dụng các chỉ số nâng cao như Pass@k và Pass^k. Thông qua đó, bạn có thể đánh giá chuyên sâu về tiềm năng và tính ổn định của agent.
Những người cảm thấy lo lắng mỗi khi sửa đổi câu lệnh (prompt) để cải thiện hiệu suất mô hình,
vì sợ rằng các chức năng hiện có có thể hoạt động sai lệch một cách không mong muốn.
Những người gặp khó khăn trong việc đưa ra quyết định khi cập nhật mô hình vì lo ngại tính ổn định của toàn bộ dịch vụ bị giảm sút,
và phải dựa vào trực giác mà không có các chỉ số đánh giá rõ ràng.
Những người muốn giao tiếp dựa trên dữ liệu và chỉ số cụ thể thay vì chỉ dựa vào "cảm giác"
khi truyền đạt các yêu cầu cải thiện hiệu suất của AI Agent cho đội ngũ.
Môi trường thực hành
Cần cài đặt phiên bản Python 3.13 trở lên.
Kiến thức tiên quyết và lưu ý
Bạn cần phải thành thạo các cú pháp lập trình Python cơ bản.
Phù hợp với những người đã có kinh nghiệm phát triển Agent sử dụng LangChain + LangGraph.
Nếu bạn chưa quen với cú pháp LangChain, vui lòng học khóa Nắm vững cơ bản LangChain trong một giờ↗️ trước.
Nếu bạn chưa quen với cú pháp LangGraph, vui lòng tham khảo khóa học Phát triển AI Agent sử dụng LangGraph↗️ trước.
Tài liệu học tập
Tài liệu bài giảng được cung cấp qua trang Notion↗️
Mã thực hành và bộ dữ liệu mẫu được cung cấp thông qua GitHub↗️
Khóa học này dành cho ai?
Một nhà phát triển luôn cảm thấy bất an rằng mỗi khi sửa một dòng prompt, một chức năng khác sẽ bị hỏng.
Người lập kế hoạch muốn đưa ra quyết định dựa trên dữ liệu và chỉ số thay vì 'cảm giác' khi giao tiếp với nhóm phát triển
Nhà phát triển muốn phát triển AI Agent ở cấp độ thực tế thay vì chỉ dừng lại ở mức cơ bản
Cần biết trước khi bắt đầu?
Yêu cầu bắt buộc Python
LangGraph thiết yếu
Xác minh Inflearn
Xác minh sự nghiệp
20,035
Học viên
1,626
Đánh giá
538
Trả lời
4.9
Xếp hạng
10
Các khóa học
Kỹ sư Phần mềm Cao cấp tại FAANG
(Cựu) Phát triển & Vận hành Nền tảng AI Agent, GS Group
(Cựu) Cố vấn/Huấn luyện viên, GS Group DX BootCamp
(Cựu) Trưởng nhóm kỹ thuật (Tech Lead) tại một startup AI vòng Series C
Giảng viên Python, Đại học Stanford Code in Place Pythonインストラクター 파이썬 강사
Mentor, Naver Boostcamp Web/Mobile
Người dẫn chương trình, Kênh YouTube Naver Cloud
Host, Wanted Thử thách Tiền tuyển dụng Frontend/Backend (hơn 6.000 người tham gia tích lũy)
Huấn luyện viên, Khóa học Hanghae AI Plus (Khóa 1)
Tất cả
18 bài giảng ∙ (3giờ 16phút)
Tất cả
13 đánh giá
4.8
13 đánh giá
Đánh giá 8
∙
Đánh giá trung bình 5.0
Đã chỉnh sửa
5
Đây là bài giảng của Jason mà tôi luôn tin tưởng và đăng ký. Tôi đã theo học tất cả các khóa học liên quan đến Langchain của giảng viên và nhờ đó hiện đang làm việc với tư cách là một Kỹ sư AI cấp độ Junior. Tôi đã rất trăn trở về vấn đề đánh giá trong công việc thực tế, và thật may mắn là khóa học này ra mắt đúng thời điểm nên tôi đang cố gắng học hỏi nhanh chóng để áp dụng. Cảm ơn giảng viên vì đã luôn mang đến những bài giảng chất lượng tốt. Ngoài ra, tôi có một câu hỏi riêng là giờ tôi mới biết giảng viên vừa xuất bản sách. Tôi chưa mua sách, nhưng tôi muốn hỏi rằng dù đã nghe hết các bài giảng rồi thì việc học thêm qua sách có xứng đáng không ạ? Các bài giảng của thầy luôn giải thích và chia sẻ dưới góc độ của học viên nên mang lại cảm giác như một người tiền bối (senior) tận tâm vậy. Một lần nữa, cảm ơn thầy vì những bài giảng luôn tuyệt vời. :)
Chào bạn Sung-gyu! Cảm ơn phản hồi tích cực từ bạn. Tôi cảm thấy rất tự hào khi biết rằng khóa học đã giúp ích cho sự nghiệp kỹ sư AI của bạn, điều đó chứng minh được hiệu quả của bài giảng. Cảm ơn bạn đã chia sẻ nhé. Trong sách thì tôi có đề cập đến các chiến lược và phương pháp đánh giá đa dạng hơn một chút so với bài giảng. Tuy nhiên, vì trong bài giảng cũng đã bao quát đầy đủ các lý thuyết về đánh giá rồi, nên nếu bạn đã hoàn thành khóa học thì tôi nghĩ không nhất thiết phải mua thêm sách đâu (đứng ở vị trí người bán sách thì có lẽ tôi không nên nói điều này 😅). Hẹn gặp lại bạn trong những bài giảng chất lượng khác nhé!
A. Ngược lại, vì bạn đã chia sẻ thật lòng nên mình cảm thấy rất tin tưởng và cảm ơn bạn rất nhiều..!! :) Sau này mình cũng sẽ đăng ký khóa học sớm nhất theo diện Early Bird. Mong được bạn giúp đỡ nhiều ạ!
Đánh giá 5
∙
Đánh giá trung bình 5.0
Đánh giá 2
∙
Đánh giá trung bình 5.0
Đánh giá 8
∙
Đánh giá trung bình 5.0
Đánh giá 2
∙
Đánh giá trung bình 5.0
Hãy khám phá các khóa học khác của giảng viên!
Khám phá các khóa học khác trong cùng lĩnh vực!