[Phần 1] Học các kỹ thuật kiểm soát ứng dụng AI qua ví dụ Spring AI: kiểm soát chi phí, chất lượng, rủi ro và luồng xử lý

Nếu đã triển khai các tính năng AI bằng Spring AI, thì giờ là lúc suy nghĩ về cách quan sát hoạt động của AI và kiểm soát chi phí, chất lượng, rủi ro cũng như luồng xử lý. Chỉ gọi LLM, kết nối RAG và nhận phản hồi có cấu trúc thôi thì chưa đủ để khiến ứng dụng AI trở nên đáng tin cậy. Trong ứng dụng thực tế, chúng ta còn cần cân nhắc yêu cầu được xử lý theo lộ trình nào, đang truyền bao nhiêu ngữ cảnh cho mô hình, có thể tin tưởng kết quả được tạo ra đến mức nào và làm thế nào để hạn chế các đề xuất nguy hiểm. Trong khóa học này, chúng ta sẽ sử dụng ứng dụng Incident Responder dựa trên Spring AI làm một ví dụ xuyên suốt. Bắt đầu từ phiên bản baseline hoạt động bình thường nhưng chưa được kiểm soát đầy đủ, chúng ta sẽ quan sát kết quả thực thi thực tế, phát hiện vấn đề, bổ sung các điểm kiểm soát vào mã và so sánh trước với sau khi cải thiện. Qua đó, thay vì chỉ học thêm cách sử dụng một tính năng AI cụ thể, bạn sẽ tiếp thu góc nhìn thiết kế về cách quan sát, giới hạn và kiểm chứng AI hoạt động theo xác suất trong ứng dụng Java/Spring.