Công nghệ ảo hóa Docker dành cho DevOps (Private Harbor Registry)

Xin chào. Chúng tôi đã bổ sung một bài giảng bổ sung mới vào khóa học Phát triển dịch vụ LLM thực tế dành cho lập trình viên Spring (Phần 1). Nội dung hướng dẫn tích hợp mô hình ra quyết định Jev của TypeSafe AI mới được công bố vào ứng dụng Spring Boot, với thời lượng khoảng 1 giờ.

Tại sao thêm nội dung này
Trong Section 4, chúng ta đã tìm hiểu cách nhận phản hồi của LLM dưới dạng đối tượng Java bằng entity(), cũng như cạm bẫy trong thực tế khi mô hình bọc JSON trong code fence khiến việc phân tích cú pháp bị lỗi. Dù yêu cầu bằng prompt hay tự động hóa bằng entity(), vẫn còn một hạn chế: cuối cùng, đó vẫn là cách "nhờ" LLM trả về đúng định dạng.
Jev có cách tiếp cận khác. Thay vì viết câu trả lời, nó chọn một đáp án trong số các lựa chọn được định trước và trả về cùng với xác suất. Nói cách khác, định dạng được đảm bảo một cách có cấu trúc. Khi xử lý cùng một đầu vào theo hai cách, chúng ta sẽ hiểu rõ hơn nhiều về những điều cần cân nhắc khi thiết kế "đầu ra có cấu trúc". Vì vậy, tôi đã tổng hợp nội dung này như phần tiếp nối của Section 4.

Bạn sẽ học gì

1. Khái niệm về các mô hình Jev và System One: ý nghĩa của việc trả về "quyết định có kiểu dữ liệu được xác định" thay vì văn bản

2. Sự khác biệt giữa LLM và Jev: câu trả lời tự luận và câu trả lời trắc nghiệm, những việc mỗi bên làm tốt và không làm tốt

3. Ba loại câu hỏi (choice · score · noul) và cấu trúc yêu cầu /v1/systemone

4. Gọi từ Spring: gọi API Jev bằng RestClient và tạo các lựa chọn bằng enum Java để chuyển đổi phản hồi một cách an toàn về kiểu dữ liệu

5. Trình diễn so sánh: phân tích cùng một bài đánh giá phim lần lượt bằng entity() và Jev để so sánh tốc độ, lỗi định dạng, độ tin cậy và tính nhất quán

Tài liệu được cập nhật cùng nhau

• Mã ví dụ Phần 4 (ch4): thêm 2 API phân tích bài đánh giá (/api/movies/review/llm, /api/movies/review/jev) và JevClient

• Slide bài giảng bổ sung và tài liệu giảng dạy

• Kịch bản kiểm thử so sánh: review-compare.sh dành cho macOS, review-compare.ps1 dành cho Windows

Điểm cần biết trước

• Jev không phải là một tính năng của Spring AI mà là một dịch vụ bên ngoài riêng biệt do TypeSafe AI cung cấp. Trong bài giảng, chúng ta cũng gọi trực tiếp bằng RestClient, chứ không phải ChatClient của Spring AI.

• Hiện tại Jev đang ở giai đoạn truy cập sớm, vì vậy việc cấp khóa API có thể phải chờ. Trong mã ví dụ, tính năng Jev mặc định bị tắt (jev.enabled=false), nên ngay cả khi không có khóa, bạn vẫn có thể tiếp tục các bài thực hành như bình thường. Nếu chưa có khóa, hãy xem phần trình diễn trong video và tập trung theo dõi các khái niệm cùng mã nguồn.

• Vì đây là dịch vụ mới ra mắt nên giá cả hoặc API có thể thay đổi sau này. Nếu có thay đổi, chúng tôi sẽ thông báo lại qua tin tức mới.

📌 Truy cập khóa học ngay: https://inf.run/VVpnV

Nếu trong quá trình học các bài giảng được bổ sung, bạn có bất kỳ thắc mắc nào hoặc gặp khó khăn khi thực hành, hãy thoải mái để lại bình luận. Chúng tôi sẽ tiếp tục bổ sung những nội dung có thể áp dụng ngay vào công việc thực tế.

Xin chào, tôi là Lee Do-won.

"Tôi đã thử tạo pipeline Jenkins, nhưng mới chỉ nghe qua khái niệm ArgoCD hoặc GitOps."

"Tôi bối rối không biết nên thiết kế việc triển khai như thế nào cho từng môi trường dev, staging và production."

Dành cho những ai đang trăn trở như vậy, chúng tôi đã mở khóa học 「Học GitOps CI/CD thực chiến với Jenkins và ArgoCD」 trên Inflearn.

Khóa học này khác biệt ở những điểm sau

• Cùng tìm hiểu cả GitOps dựa trên ArgoCD, vượt ra ngoài CI/CD truyền thống dựa trên Jenkins.

• Trực tiếp so sánh phương thức Push (Jenkins) và phương thức Pull (ArgoCD) trên cùng một cụm Kubernetes. Khi ai đó thay đổi thủ công bằng kubectl, bạn sẽ tận mắt thấy một bên giữ nguyên thay đổi còn bên kia tự động khôi phục, đồng thời trực tiếp cảm nhận sự khác biệt trong cách rollback và kiểm tra lịch sử triển khai.

• Kết hợp hai phương thức để xây dựng từ đầu đến cuối một quy trình triển khai kết hợp, trong đó dev·staging sử dụng Jenkins Push, còn production sử dụng ArgoCD Pull (phê duyệt Sync thủ công).

• Thực hành các kỹ thuật triển khai cốt lõi cần thiết cho vận hành, từ Canary, Blue-Green, RBAC, quy trình phê duyệt, ứng phó sự cố cho đến tự động rollback.

Môi trường thực hành

Chỉ cần Docker Desktop là có thể thực hiện. Tương thích với cả Windows và macOS, không cần tài khoản đám mây như AWS hay phát sinh chi phí riêng.

Khóa học này phù hợp với những ai

• Kỹ sư backend và hạ tầng đã từng sử dụng Jenkins nhưng chưa từng làm quen với ArgoCD/GitOps

• Những người muốn chuyển việc triển khai Kubernetes từ thao tác thủ công bằng kubectl apply sang tự động hóa

• Nhân sự DevOps·SRE quan tâm đến các yêu cầu vận hành như phê duyệt triển khai, rollback và theo dõi kiểm toán

Tổng thời lượng học khoảng 10–11 giờ, đồng thời cung cấp tài liệu thực hành và hướng dẫn khắc phục sự cố.

👉 Xem khóa học: https://inf.run/dEjZE

Nếu có điều gì thắc mắc, hãy thoải mái để lại trong phần bình luận hoặc mục Q&A của khóa học nhé!

Lần này, chúng tôi đã mở khóa học mới Phát triển dịch vụ LLM thực chiến dành cho nhà phát triển Spring (Phần 1). Dù có thể hơi muộn một chút, khóa học được xây dựng nhằm giúp bạn học những nội dung cần thiết để phát triển ứng dụng LLM bằng Spring framework quen thuộc với các nhà phát triển Java. Rất mong nhận được sự quan tâm của các bạn.

Tại sao tôi tạo ra khóa học này?

Dạo gần đây, những từ khóa như RAG, tìm kiếm vector và tác nhân AI có thể bắt gặp ở khắp nơi, nhưng tài liệu hướng dẫn chuyên sâu ở cấp độ thực tế về việc “tích hợp chúng vào backend Spring Boot như thế nào” lại không nhiều.

Khóa học này đưa nguyên vẹn vào chương trình những vấn đề tôi từng gặp khi gỡ lỗi endpoint đề xuất RAG thực tế — trải nghiệm chất lượng tìm kiếm bị giảm do ý nghĩa bị phá vỡ khi chia nhỏ tài liệu theo đơn vị token, cũng như quá trình chuyển sang chiến lược chia theo đoạn văn để giải quyết vấn đề. Thay vì chỉ đưa ra đoạn mã đúng như trong các tutorial, khóa học sẽ cùng bạn theo dõi quá trình “tại sao không hoạt động → chẩn đoán như thế nào → khắc phục ra sao”.

Khóa học này được khuyến nghị cho những người sau đây:

• Các lập trình viên backend đã có kinh nghiệm với Spring Boot nhưng mới bắt đầu phát triển dịch vụ LLM/AI

• Các nhà phát triển muốn áp dụng RAG và tìm kiếm vector ở cấp độ dự án thực tế, thay vì chỉ theo các bài hướng dẫn.

• Những người thực tế cần tự triển khai các tính năng AI nội bộ (chatbot, tìm kiếm tài liệu, đề xuất, v.v.) dựa trên Spring

Chỉ cần có kinh nghiệm xây dựng REST API bằng Spring Boot là đủ. Không cần có kiến thức nền tảng về AI/LLM.

Bạn sẽ học gì?

1. Nền tảng cốt lõi của Spring AI Cách sử dụng cơ bản ChatClient, đầu ra có cấu trúc (Structured Output), triển khai phản hồi streaming

2. Xây dựng pipeline RAG Tích hợp kho vector, so sánh các chiến lược chia nhỏ tài liệu và xử lý sự cố trong thực tế, cải thiện chất lượng tìm kiếm, thiết kế prompt

3. Mở rộng công cụ và đa phương thức Tích hợp các công cụ bên ngoài bằng MCP (Model Context Protocol), xử lý đầu vào đa phương thức như hình ảnh, tích hợp Dify

4. Ổn định dịch vụ và dự án thực tế Áp dụng các biện pháp bảo vệ, thiết kế dịch vụ đáng tin cậy và thực hiện dự án mini tích hợp những nội dung đã học cho đến nay

Phần phụ lục cũng hướng dẫn cách sử dụng công cụ lập trình AI và Ollama.

Giới thiệu về loạt bài

Sản phẩm ra mắt lần này là Part 1 của toàn bộ series. Trong Part 2 và 3, chúng tôi dự kiến sẽ đề cập đến các kiến trúc chuyên sâu hơn và những trường hợp thực tế; khi toàn bộ series được phát hành, chúng tôi cũng dự định chuẩn bị chương trình giảm giá cho trọn bộ.

📌 Truy cập khóa học: https://inf.run/VVpnV

Nếu có điều gì thắc mắc hoặc câu hỏi liên quan đến giáo trình, hãy thoải mái để lại bình luận. Thông qua Part 1, tôi muốn cùng các bạn thực hiện bước đầu tiên trong việc tích hợp LLM vào dịch vụ Spring của mình.

Xin chào, đây là Lee Do-won.

Trong bài giảng "Xây dựng đường ống CI/CD bằng Jenkins" và "Công nghệ ảo hóa Docker cho DevOps (Private Harbor Register)", một môi trường thực hành được xây dựng bằng phương pháp DinD (Docker in Docker) để chạy các container Docker một cách trơn tru và chạy các ví dụ. tôi đang làm việc đó

Tuy nhiên, môi trường Windows và MacOS là khác nhau và đối với MacOS, hình ảnh Docker phải được định cấu hình sẽ khác nhau tùy thuộc vào chip Intel hoặc chip Apple. Trong hình ảnh này, máy chủ SSH và công cụ Docker được cấu hình để cài đặt, giúp dễ dàng sử dụng khi cần nhiều bộ chứa Docker trong quá trình thực hành. Tuy nhiên, sự thật là rất khó để sản xuất nó để phù hợp với tất cả môi trường của sinh viên. Tuy nhiên, chúng tôi đang cố gắng cập nhật hình ảnh Docker để có thể thực hành mà không gặp khó khăn trong môi trường điển hình nhiều nhất có thể.

Gần đây, khi thực hành sử dụng hình ảnh docker-server:m1 được sử dụng trong chip MacOS Apple, người ta đã xác định được một lỗi khiến việc thực hành không thể thực hiện được do các lỗi sau.

 exec /docker-entrypoint.sh: invalid argument

Tôi đã kiểm tra và sửa lỗi qua nhiều đường dẫn khác nhau, nhưng có vẻ như lỗi xảy ra trong phương thức DinD, sử dụng kiến ​​trúc arm64 được sử dụng trong chip MacOS Apple và cài đặt Docker engine trong vùng chứa Docker. (Không có thông báo lỗi hoặc nhật ký nên việc tìm ra nguyên nhân bị hạn chế.)

• Lỗi ví dụ: https://www.inflearn.com/community/questions/1401289/service-create-%EC%8B%9C%EC%97%90-%EC%97%90%EB%9F%AC-% EB%B0%9C%EC%83%9D

Nó được đánh giá là khó giải quyết với hình ảnh này nên chúng tôi đã xây dựng lại và phân phối một phiên bản với công cụ SSH + Docker được cài đặt trên nền tảng Ubuntu như hình bên dưới.

https://hub.docker.com/repository/docker/edowon0623/docker-server/general

Chúng tôi xác nhận rằng mọi vấn đề phát sinh nêu trên đã được giải quyết. Để khởi động dịch vụ Docker trên Ubuntn, trước tiên hãy chạy lệnh bên dưới rồi thực hành.

 service start docker

Chúng tôi sẽ tiếp tục cung cấp môi trường thực hành cập nhật ngay khi các vấn đề liên quan đến thực hành, chẳng hạn như vấn đề DinD, được xác định.

Tuần tới là ngày nghỉ lễ. Năm 2024 là một năm có nhiều sự kiện đối với cá nhân tôi, nhưng tôi sẽ bắt đầu một năm mới với một tinh thần mới mẻ. Năm nay tôi sẽ quay lại thường xuyên với những bài giảng hay hơn. Chúc một năm mới may mắn .

Cảm ơn