Xin chào, tôi là Lee Do-won (Kenneth).
Tôi đã mở khóa học miễn phí 「Giám sát chi phí Spring AI LLM — Tạo dashboard token chỉ với một dòng Actuator」.
Tại sao tôi tạo khóa học này?
Câu hỏi tôi nhận được nhiều nhất khi tư vấn các dự án AI cho doanh nghiệp là câu hỏi này.
"Đã tạo chatbot rồi, nhưng mỗi tháng tốn bao nhiêu tiền?"
Chi phí của dịch vụ LLM khác nhau theo từng yêu cầu, thời gian phản hồi có thể mất vài giây, và nguyên nhân thất bại nằm ngoài mã nguồn của chúng ta. Thế nhưng nhiều nhóm lại giám sát như đối với dịch vụ web thông thường, đến khi nhận được hóa đơn mới phát hiện ra vấn đề.
0 lỗi, Health UP, HTTP 200. Mọi thứ trông có vẻ bình thường, nhưng sự cố khiến số token đầu vào tăng gấp nhiều lần lại không thể bị phát hiện bằng hệ thống giám sát hiện có.
Bạn sẽ làm gì trong khóa học này
Chỉ với một dòng Actuator, trích xuất các chỉ số về token, độ trễ và lỗi mà Spring AI đã ghi lại.
Chỉ với một lần chạy docker compose, bạn có thể khởi chạy bảng điều khiển token Prometheus + Grafana.
Thay vì giá trị trung bình, dùng p95 để tìm ra “các yêu cầu đôi khi chậm”.
topK 4 → 20 Chỉ với một cài đặt, bạn sẽ trực tiếp tái hiện “sự cố trông có vẻ bình thường” khiến số token đầu vào tăng khoảng 4 lần và phát hiện nó bằng dashboard.
Không cần sửa mã nghiệp vụ. Chỉ cần thêm một dòng dependency và vài dòng cấu hình là được.
Thông tin khóa học
Thời lượng: khoảng 1 giờ (bao gồm thực hành)
Môi trường thực hành: JDK 21 trở lên, Docker Desktop, khóa API OpenAI hoặc Ollama (miễn phí)
Tài liệu cung cấp: dự án thực hành, docker-compose, JSON bảng điều khiển Grafana, tập lệnh tạo tải (bash · PowerShell), giáo trình theo từng bước
Tên metric tuân theo tiêu chuẩn Spring AI, nên bạn có thể gắn nguyên dashboard thực hành vào dự án của mình. Ngay cả khi không có API key, bạn vẫn có thể theo học đến cuối bằng Ollama.
Khóa học này phù hợp với những người
Các nhà phát triển backend đang xây dựng PoC hoặc chatbot nội bộ bằng Spring AI và chuẩn bị đưa vào vận hành
Dành cho những ai đã từng sử dụng Actuator và Prometheus nhưng không biết cần theo dõi điều gì trong dịch vụ LLM
Trưởng nhóm/kiến trúc sư cần báo cáo chi phí triển khai LLM bằng các con số
Nếu muốn đi sâu hơn
Số token được chuyển đổi thành chi phí tính bằng won, cảnh báo chi phí tăng đột biến và truy vết phân tán (Jaeger) để xem từng bước của một yêu cầu sẽ được tiếp tục trình bày trong Phần 16 của 『Phát triển dịch vụ LLM thực chiến dành cho lập trình viên Spring』.
👉 Phát triển dịch vụ LLM thực chiến dành cho lập trình viên Spring
Nếu gặp phần nào vướng mắc trong quá trình học, hãy để lại câu hỏi trên bảng hỏi đáp. Chúng tôi hoan nghênh cả những câu hỏi như "Tôi đã làm theo nhưng biểu đồ lại trống".
Những ý kiến bạn để lại trong phần đánh giá khóa học sẽ là nguồn động lực lớn khi chúng tôi xây dựng các bài giảng tiếp theo.
Xin cảm ơn.
Trân trọng, Lee Do-won