inflearn logo

Giám sát chi phí LLM của Spring AI — Bảng điều khiển token chỉ với một dòng Actuator

Tìm hiểu cách theo dõi bằng số liệu và biểu đồ lượng token mà chatbot·dịch vụ RAG được xây dựng bằng Spring AI sử dụng, tốc độ phản hồi và tỷ lệ thất bại. Chỉ với Actuator quen thuộc với các nhà phát triển Spring, bạn có thể lấy các metric mà Spring AI đã ghi nhận sẵn và tạo dashboard bằng Prometheus + Grafana.

108 học viên đang tham gia khóa học này

Độ khó Cơ bản

Thời gian Không giới hạn

Spring AI
Spring AI
Prometheus
Prometheus
grafana
grafana
spring-boot-actuator
spring-boot-actuator
AI
AI
Spring AI
Spring AI
Prometheus
Prometheus
grafana
grafana
spring-boot-actuator
spring-boot-actuator
AI
AI
Thumbnail

Bạn sẽ nhận được điều này sau khi học.

  • Học cách xem mức sử dụng token, thời gian phản hồi và tỷ lệ lỗi của dịch vụ LLM được xây dựng bằng Spring AI trên bảng điều khiển theo thời gian thực.

  • Bật và đọc các chỉ số mà Spring AI tự động ghi lại bằng Spring Boot Actuator.

  • Thu thập các chỉ số bằng Prometheus và hoàn thiện bảng điều khiển về token, độ trễ và lỗi bằng Grafana.

  • Tự mình tái hiện cảnh chi phí tăng gấp nhiều lần chỉ vì một thiết lập RAG và phát hiện nó trên dashboard.

"Đã tạo chatbot rồi, nhưng vận hành thế nào đây?" 🤔

Gần đây, khi tư vấn các dự án AI cho doanh nghiệp, tôi liên tục nhận được những câu hỏi giống nhau. "Đã xây dựng chatbot rồi, nhưng phải vận hành thế nào đây?" "Tôi không biết chi phí sẽ lên đến bao nhiêu." Chi phí của dịch vụ LLM khác nhau theo từng yêu cầu, thời gian phản hồi có thể kéo dài vài giây, và nguyên nhân lỗi nằm ngoài phạm vi mã nguồn của chúng ta. Thế nhưng nhiều đội ngũ lại giám sát theo cách giống như các dịch vụ web hiện có, rồi chỉ nhận ra vấn đề sau khi nhận được hóa đơn.

Tin tốt là nếu bạn là nhà phát triển Spring, bạn đã có sẵn câu trả lời. Spring AI ngay từ đầu đã được thiết kế để ghi nhận khả năng quan sát trên nền tảng Micrometer. Khóa học này xuất phát từ chính sự thật đó và được xây dựng với mục tiêu hiển thị bảng điều khiển token của dịch vụ trong vòng 1 giờ.

Giải quyết vấn đề gì?

📌 Không thể trả lời câu hỏi "Dịch vụ này mỗi tháng tốn bao nhiêu?" → Xem mức sử dụng token theo từng mô hình và theo đầu vào/đầu ra bằng biểu đồ theo thời gian thực

📌 Thỉnh thoảng bị phàn nàn là chậm, nhưng thời gian phản hồi trung bình vẫn bình thường → dùng p95 để làm rõ "5% chậm", đồng thời phân tách thời gian gọi mô hình và thời gian của toàn bộ ứng dụng

📌 Thay đổi một thiết lập khiến hóa đơn tăng → trực tiếp tái hiện cảnh chỉ một thay đổi topK khiến số token đầu vào tăng khoảng 4 lần và phát hiện bằng bảng điều khiển

📌 Có vẻ phải sửa rất nhiều mã để tích hợp tính năng giám sát → chỉ một dòng dependency và vài dòng cấu hình — mã nghiệp vụ vẫn giữ nguyên

Theo dõi chi phí LLM của Spring AI

  1. Chiến lược “một dòng Actuator” — Không cần học công cụ hay SDK mới. Tận dụng việc Spring AI được xây dựng trên Micrometer Observation để hoàn tất mọi thứ chỉ với Actuator mà bạn đã quen thuộc.

  2. Kịch bản tái hiện “quả bom chi phí” — Tự mình gây ra một “sự cố trông như bình thường”: không có lỗi nào, Health UP, HTTP 200 nhưng chi phí lại tăng gấp nhiều lần. Bạn sẽ ghi nhớ bằng hình ảnh thực tế thay vì lý thuyết.

  3. Bộ công cụ hoàn chỉnh có thể dùng ngay — cung cấp đầy đủ dự án thực hành, docker-compose, JSON bảng điều khiển Grafana và các tập lệnh tải (bash·PowerShell). Vì tên metric tuân theo tiêu chuẩn Spring AI, bạn có thể gắn nguyên bảng điều khiển vào dự án của mình.

  4. Theo tên metric thực tế — chúng tôi cung cấp tên đã xác nhận trong môi trường thực hành cho những điểm mà tài liệu và kết quả thực tế khác nhau (ví dụ: tên metric của ChatClient). Giúp ngăn trước tình trạng “đã làm theo nhưng biểu đồ lại trống”.

Khuyến nghị dành cho những người này

Nhà phát triển backend sắp đưa dịch vụ Spring AI vào vận hành

PoC đã kết thúc và ngày mở dịch vụ đang đến gần, nhưng nếu bạn vẫn chưa có câu trả lời cho câu hỏi “Nên theo dõi những chỉ số vận hành nào?”.

Lập trình viên Spring đã từng sử dụng Actuator · Prometheus nhưng mới làm quen với LLM
Nếu bạn từng giám sát các dịch vụ Spring Boot·Spring Cloud nhưng còn xa lạ với những chỉ số chỉ có ở LLM như token, p95 và số lần gọi mô hình.

Trưởng nhóm · kiến trúc sư cần giải thích chi phí LLM bằng những con số
Nếu bạn muốn hiển thị trên dashboard các câu hỏi như "Mỗi tháng tốn bao nhiêu?", "Tại sao lại chậm?" thay vì chỉ dựa vào cảm tính.

Sau khi hoàn thành khóa học,

Những điều bạn sẽ hiểu

  • Các metric mà Spring AI ghi lại (gen_ai.client.operation, gen_ai.client.token.usage, db.vector.client.operation, spring.ai.chat.client) lần lượt đo những gì

  • Quy tắc chuyển đổi tên Micrometer thành tên Prometheus và cách phân chia dữ liệu theo các thẻ tag

  • Lý do cần xem p95 thay vì giá trị trung bình, và lý do xảy ra tình trạng “2 lần gọi mô hình cho 1 yêu cầu”

những gì bạn có thể làm được

  • Trong dự án Spring AI của tôi, chỉ với một dòng dependency + vài dòng cấu hình, tôi sẽ hiển thị các chỉ số.

  • Khởi chạy Prometheus và Grafana bằng docker compose, rồi kết nối trực tiếp dashboard được cung cấp với dịch vụ của bạn

  • So sánh bằng số liệu ảnh hưởng của các thay đổi cài đặt như topK trong RAG và độ dài prompt đến token.


Sự thay đổi sẽ như thế này

Trước khi tham gia khóa học

Sau khóa học

"Một tháng tốn bao nhiêu?" → "Chà, phải đợi hóa đơn gửi đến mới biết…"

"Vì số token đầu vào mỗi phút hiện đang ở mức này, nên khi quy đổi theo đơn giá mô hình thì sẽ ra mức này"

"Thỉnh thoảng có vẻ chậm" → Thời gian phản hồi trung bình vẫn bình thường nên chưa rõ nguyên nhân

Xem khoảng cách giữa p50 và p95 để nhanh chóng xác nhận “chỉ một số yêu cầu trở nên chậm hơn”

Sau khi thay đổi cài đặt, nếu không có gì bất thường thì hoàn tất

So sánh biểu đồ token trước và sau khi thay đổi để kiểm tra trước ảnh hưởng đến chi phí

Được sử dụng ở đâu?

chẳng hạn như chatbot tìm kiếm kiến thức nội bộ, bot tư vấn trung tâm chăm sóc khách hàng, dịch vụ tóm tắt tài liệu và RAG, mọi dịch vụ gọi API LLM như OpenAI từ backend Spring Bootđều có thể sử dụng trong giai đoạn chuẩn bị vận hành. Có thể tận dụng ngay để dự đoán chi phí trước khi đưa vào hoạt động, giám sát chi phí·hiệu năng sau khi đưa vào hoạt động và làm các chỉ số báo cáo cho ban lãnh đạo.

  • Bật và đọc các chỉ số mà Spring AI tự động ghi lại bằng Spring Boot Actuator.

  • Thu thập các chỉ số bằng Prometheus và hoàn thiện bảng điều khiển về token, độ trễ và lỗi bằng Grafana.

  • Chỉ với một thiết lập RAG, bạn sẽ trực tiếp tái hiện tình huống chi phí tăng vọt gấp nhiều lần và phát hiện ra qua dashboard.

  • Bạn có thể kiểm tra các mục khó tìm thấy theo giá trị trung bình thông qua p95.

Người tạo ra khóa học này

Với suy nghĩ rằng “Kiến thức trong đầu chưa phải là kiến thức”, tôi luôn nỗ lực chắt lọc những kinh nghiệm và kiến thức nhỏ bé mình có, đồng thời diễn giải chúng theo cách dễ hiểu hơn. Tôi tin rằng đây sẽ là một khóa học dễ tiếp thu hơn đối với những người quan tâm đến lĩnh vực LLM và AI dựa trên nền tảng công nghệ Java và Spring Framework.

  • Dựa trên 26 năm kinh nghiệm giảng dạy, tư vấn và phát triển, tôi tiến hành các bài giảng nhằm giúp học viên hiểu được những kinh nghiệm và bí quyết thực tiễn.

  • Hiện tại với vai trò kiến trúc sư·kỹ sư: Tôi trực tiếp thiết kế và phát triển các hệ thống đồ thị tri thức dựa trên GraphRAG và nền tảng AI doanh nghiệp.

    • 2023 ~ nay: Tổng giám đốc Công ty NJOne (주) 엔제이원컴퍼니


    • Hiện tại) Giáo sư thỉnh giảng Khoa An ninh thông tin, Trường Cao học Thông tin Quốc tế, Đại học Dongguk

    • Cựu chuyên gia tư vấn công nghệ AMJ của JP Morgan Chase (Nhật Bản)

    • Trước đây) Kỹ sư phụ trách tại Bộ phận Kinh doanh CMS, Samsung SDS

  • Thực hiện các dự án AI/LLM trong lĩnh vực tài chính: Đã nhiều lần thực hiện các dự án trong lĩnh vực tài chính liên quan đến AI·LLM, tích lũy kinh nghiệm thực tiễn trong việc thiết kế và triển khai dịch vụ LLM trong lĩnh vực tài chính, nơi độ tin cậy và tính ổn định đặc biệt quan trọng.

  • Giảng dạy MSA, cloud native và AI trong nhiều năm: Tôi đang giảng dạy về Spring Boot, Spring Cloud, MSA, Kafka, Blockchain, Machine Learning, Deep Learning và DevOps.

  • Thiết kế khóa học và chương trình giảng dạy cho doanh nghiệp: Tôi đã thiết kế chương trình giảng dạy và trực tiếp giảng dạy nhiều khóa học cho doanh nghiệp và bootcamp, bao gồm các lĩnh vực đám mây/MSA/bảo mật/AI; nguyên tắc của tôi là đưa kinh nghiệm thực hiện dự án thực tế vào bài giảng thay vì chỉ dừng lại ở lý thuyết.

Lưu ý trước khi tham gia khóa học

Môi trường thực hành

  • Hệ điều hành: macOS · Windows · Linux (Windows có cung cấp riêng script PowerShell)

  • Bắt buộc: JDK 21 trở lên, Docker Desktop (Docker Compose v2)

  • IDE được khuyến nghị: IntelliJ IDEA (thực hiện các yêu cầu thực hành bằng HTTP Client)

  • LLM: Khóa API OpenAI hoặc Ollama (miễn phí)

  • Phiên bản chuẩn: Spring Boot 3.5 · Spring AI 1.0.x

Tài liệu học tập

  • Dự án thực hành free-llm-monitoring (tệp nén, repository Github được chia sẻ)

  • docker-compose, cấu hình Prometheus, JSON bảng điều khiển Grafana

  • Tập hợp yêu cầu thực hành (.http), tập lệnh tạo tải (bash · PowerShell)

  • Tài liệu bài giảng (lệnh từng bước · kết quả dự kiến · bảng hướng dẫn giải quyết khi gặp khó khăn)

Kiến thức cần có và lưu ý

  • Bắt buộc: Có kinh nghiệm xây dựng REST API bằng Spring Boot và biết các lệnh cơ bản trong terminal.

  • Nên biết: Cách sử dụng Docker cơ bản

  • Không cần: kiến thức trước về Prometheus · Grafana · Spring AI

Lưu ý

  • Khi sử dụng OpenAI, bạn sẽ phát sinh phí sử dụng API (một khoản nhỏ cho toàn bộ bài thực hành). Nếu muốn không mất phí, hãy sử dụng Ollama.

  • Khi chạy Ollama bằng CPU, thời gian phản hồi có thể mất từ vài giây đến vài chục giây. Các chỉ số trên biểu đồ sẽ khác với OpenAI, nhưng quy trình thực hành vẫn giống nhau.

  • Tên metric có thể khác nhau tùy theo phiên bản Spring AI. Trong bài giảng, chúng tôi cũng sẽ hướng dẫn cách kiểm tra tên thực tế.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Lập trình viên backend trước thềm ra mắt dịch vụ Spring AI

  • Lập trình viên Spring đã từng sử dụng Actuator · Prometheus nhưng mới làm quen với LLM

  • Trưởng nhóm · kiến trúc sư cần giải thích chi phí LLM bằng các con số

Cần biết trước khi bắt đầu?

  • Kinh nghiệm xây dựng REST API bằng Spring Boot

  • Các lệnh cơ bản của terminal

  • Cách sử dụng Docker cơ bản

Xin chào
Đây là Dowon Lee

Xác minh Inflearn

32,255

Học viên

1,787

Đánh giá

1,394

Trả lời

4.8

Xếp hạng

11

Các khóa học

Tôi là kỹ sư IT. Đã có lúc tôi băn khoăn không biết nên chọn từ nào trong mục nghề nghiệp: "nhân viên công ty?", "lập trình viên?" hay "giảng viên?" Sau đó, tôi nghĩ rằng cách gọi kỹ sư IT là tên nghề phù hợp với mình, nên cho đến nay trong mục nghề nghiệp tôi vẫn ghi là "kỹ sư IT".

Nghề nghiệp là điều thể hiện công việc của bản thân, còn công việc thì tôi luôn nghĩ rằng sẽ tốt biết bao nếu đó là một việc thú vị và có ích. Không phải ai cũng có thể sống bằng công việc mình mong muốn, nhưng tôi là người yêu thích công việc mình đang làm và muốn làm thật tốt. Trong thời gian đảm nhiệm vai trò của một nhà phát triển, giảng viên và tư vấn viên, tôi luôn phải tất bật chạy theo những công nghệ IT mới liên tục được ra mắt và thay đổi, nhưng dù vậy, tôi vẫn là một trong những người muốn được tiếp cận, truyền bá và sử dụng chúng dù chỉ sớm hơn người khác một chút.

Lĩnh vực tôi gần đây quan tâm là tư vấn đào tạo trực tuyến. Những công nghệ tôi quan tâm gồm Cloud Native Architecture, Blockchain, Machine Learning, Kafka, Kuberbetes, v.v. Tôi cũng đang trực tiếp giảng dạy các công nghệ này và áp dụng chúng vào công việc. Tuy nhiên, vì đây là những chủ đề vô cùng rộng lớn nên đến nay tôi vẫn không ngừng học hỏi.

Người ta nói rằng những gì chỉ được lưu giữ trong đầu chưa phải là kiến thức thực sự. Tôi muốn chia sẻ kiến thức và kinh nghiệm mình có bằng nhiều phương thức khác nhau. Và tôi sẽ trở thành một kỹ sư CNTT không ngừng thử thách bản thân trong những lĩnh vực mới và với những công nghệ mới.

 

 

  • Hiện) CEO Công ty NJ One .

  • Hiện tại) Giáo sư đặc cách tại Khoa An ninh Thông tin, Trường Sau đại học Thông tin Quốc tế, Đại học Dongguk

  • Cựu) Chuyên gia tư vấn công nghệ AMJ của JP Morgan Chase (Nhật Bản)

  • Cựu) Kỹ sư phụ trách, Bộ phận kinh doanh CMS, Samsung SDS

 

 

Thêm

Chương trình giảng dạy

Tất cả

11 bài giảng ∙ (1giờ 12phút)

Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Khóa học khác của Dowon Lee

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Miễn phí