[VLM101] Tạo chatbot đa phương thức bằng fine-tuning (feat.MCP / RunPod)

Name: [VLM101] Tạo chatbot đa phương thức bằng fine-tuning (feat.MCP / RunPod)
Price: 77000 KRW
Rating: 4.6 (14 reviews)

Đây là khóa học dành cho người mới bắt đầu giúp hiểu về khái niệm và cách sử dụng Mô hình Thị giác-Ngôn ngữ (Vision-Language Model, VLM), đồng thời thực hành chạy mô hình LLaVA trên môi trường Ollama và tích hợp với MCP (Model Context Protocol). Khóa học này bao gồm nguyên lý của mô hình đa phương thức, lượng tử hóa (Quantization), phát triển dịch vụ và demo tích hợp, đồng thời cung cấp cân bằng giữa lý thuyết và thực hành.

(4.6) 14 đánh giá

99 học viên

Độ khó Cơ bản

Thời gian Không giới hạn

dreamingbumblebee

실습 중심

mcp

Vision Transformer

transformer

Llama

Model Context Protocol

실습 중심

mcp

Vision Transformer

transformer

Llama

Model Context Protocol

Đánh giá từ những học viên đầu tiên

Bạn sẽ nhận được điều này sau khi học.

Hiểu MCP là gì
Tự tay tinh chỉnh VLM và tạo demo PoC

Chúng ta sử dụng các dịch vụ AI như ChatGPT, Gemini, Claude hàng ngày, nhưng bạn đã bao giờ tò mò về cách chúng "hiểu" hình ảnh chưa? Công nghệ cốt lõi chính là Vision-Language Model (VLM).

Trong khóa học này, chúng ta sẽ trực tiếp fine-tuning các mô hình VLM mới nhất như LLaVA và Qwen2.5v, chạy local bằng Ollama và tạo chatbot đa phương thức của riêng mình bằng cách sử dụng MCP (Model Context Protocol). Khóa học cũng đề cập đến các kỹ thuật có thể áp dụng ngay vào thực tế như CLIP Vision Encoder, Quantization, xây dựng MCP Server, đồng thời giúp bạn trải nghiệm toàn bộ quy trình từ nguyên lý hoạt động của VLM đến tích hợp MCP, vượt xa việc chỉ gọi API đơn thuần.

✅Trải nghiệm AI đa phương thức tự tạo, không phải gọi API
Vượt qua việc chỉ sử dụng mô hình, đây là cấu trúc thực chiến tập trung vào việc tự tay tinh chỉnh, kết nối và hoàn thiện.

✅Trải nghiệm từng bước quá trình tiến hóa của công nghệ VLM
Trải nghiệm có hệ thống quá trình phát triển mô hình đa phương thức từ CLIP → LLaVA → LLaVA 1.5 → OneVision.

✅Phản ánh công nghệ đa phương thức mới nhất
Bao gồm các xu hướng AI đa phương thức mới nhất như LLaVA OneVision, MCP.

✅ Thiết kế thực hành GPU hoàn thành được với 10 đô la
Dựa trên môi trường RunPod, có thể thực hành toàn bộ với chi phí không đáng kể.

✅Hoàn thiện portfolio của riêng bạn qua khóa học
Khi hoàn thành khóa học, bạn sẽ sở hữu sản phẩm chatbot đa phương thức do chính tay mình tạo ra.

💡 Khóa học cần thiết cho những học viên như thế này

😤 "Chỉ dùng API thôi thì đáp đáp quá"

Bạn đã tạo dịch vụ bằng ChatGPT API nhưng cảm thấy bế tắc vì chi phí cao và nhiều hạn chế
Những người tò mò về bên trong mô hình AI như hộp đen và muốn trực tiếp thử nghiệm

💸 "Chi phí vận hành dịch vụ AI quá đắt"

Nhà phát triển startup đang cân nhắc xây dựng mô hình riêng do chi phí gọi OpenAI Vision API quá cao
Những người đang lên kế hoạch cho dịch vụ cần xử lý lượng lớn hình ảnh

🚀 "Tôi muốn trở thành chuyên gia AI đa phương thức"

Những người muốn phát triển sự nghiệp với tư cách là nhà phát triển AI nhưng chỉ mới làm việc với LLM dựa trên văn bản
Sinh viên chuẩn bị việc làm muốn thêm dự án khác biệt vào portfolio

🤔 "Tôi không hiểu chính xác VLM là gì"

Những người muốn theo kịp xu hướng AI nhưng chưa hiểu rõ multimodal là gì, VLM là gì
Những người tò mò về nguyên lý hoạt động của AI xử lý đồng thời hình ảnh và văn bản

Sau khi hoàn thành khóa học

Bạn có thể hiểu hoàn hảo nguyên lý hoạt động của CLIP và dòng LLaVA. AI đa phương thức sẽ không còn là hộp đen nữa.
Trong môi trường thực tế sử dụng Ollama và RunPod, bạn có thể fine-tune và triển khai VLM.
Kỹ thuật Quantization giúp giảm kích thước các mô hình lớn để có thể chạy ngay cả trên PC cá nhân.
Bạn có thể xây dựng quy trình làm việc tích hợp nhiều công cụ AI bằng cách sử dụng MCP (Model Context Protocol).
Bạn có thể tự tay tạo ra chatbot đa phương thức của riêng mình từ đầu đến cuối.

💡 Những thay đổi cụ thể bạn có thể đạt được sau khóa học

🎯 Kỹ năng thực tế có thể áp dụng ngay lập tức

Sau khi hoàn thành khóa học, bạn có thể tự mình thực hiện các dự án thực tế như sau:

Dịch vụ VLM của riêng bạn: Chatbot phân tích hình ảnh chuyên biệt cho các lĩnh vực cụ thể (y tế, giáo dục, mua sắm, v.v.)
Quy trình làm việc AI cục bộ: Hệ thống tự động hóa nơi nhiều công cụ AI cộng tác sử dụng MCP
Dịch vụ AI tiết kiệm chi phí: Dịch vụ vận hành bằng mô hình riêng, giảm sự phụ thuộc vào API

📈 Portfolio để phát triển sự nghiệp

Kho lưu trữ GitHub: Repository hoàn chỉnh với toàn bộ mã thực hành và mô hình đã được huấn luyện
Chủ đề cho blog kỹ thuật: Có thể viết bài đăng kỹ thuật tổng hợp quá trình và kết quả fine-tuning VLM
Câu chuyện phỏng vấn: Câu chuyện phỏng vấn khác biệt với "kinh nghiệm tự mình fine-tuning VLM"

🧠 Hiểu biết sâu sắc và khả năng ứng dụng

Vượt ra ngoài cách sử dụng đơn giản:

Hiểu hoàn toàn nguyên lý hoạt động bên trong của VLM để có thể học các mô hình mới một cách nhanh chóng
Quantization, chuyển đổi GGUF và các kỹ thuật tối ưu hóa mô hình khác có thể áp dụng cho các dự án khác
Khả năng thiết kế quy trình làm việc AI sử dụng hệ sinh thái MCP

Môi trường thực hành

Khóa học được giảng dạy dựa trên MacOS. Nếu bạn sử dụng máy Windows và đã cài đặt docker thì có thể theo dõi hầu hết nội dung.
Trong khóa học sử dụng cursor. Tôi nghĩ bạn cũng có thể theo dõi tốt với phiên bản vscode.
Môi trường đám mây
- RunPod: Dịch vụ thuê GPU instance, sử dụng H100 hoặc A100
- Chi phí dự kiến: 10 đô la cho toàn bộ khóa thực hành
- Ưu điểm: Có thể thực hành ngay lập tức mà không cần cài đặt môi trường phức tạp
- ⚠ Lưu ý
  - Cần tạo tài khoản RunPod và đăng ký thẻ thanh toán

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

Người mới bắt đầu với Multimodal, VLM
Người muốn tạo demo dựa trên MCP

Cần biết trước khi bắt đầu?

Cơ bản về LLM

Xin chào
Đây là

320

Học viên

Đánh giá

Trả lời

4.4

Xếp hạng

Các khóa học

📱contact: dreamingbumblebee@gmail.com

Chương trình giảng dạy

Tất cả

23 bài giảng ∙ (2giờ 52phút)

Tài liệu khóa học:

Tài liệu bài giảng

Phần 1. Định hướng

1 bài giảng ∙ (2phút)

1. Định hướng - Giới thiệu khóa học
02:11

Phần 2. Hiểu Vision Language Model (VLM)

6 bài giảng ∙ (54phút)

2. VLM & Multimodal LLM(MLLM) là gì?
01:27
3. CLIP Vision Encoder
07:46
4. LLaVA
13:21
5. LLaVA 1.5
08:42
6. LLaVA NeXT (1.6)
07:28
7. LLaVA OneVision
15:59

Phần 3. VLM Finetuning & Quantization Thực hành

8 bài giảng ∙ (1giờ 10phút)

8. [Thực hành] Giới thiệu Runpod
02:55
9. [Thực hành] Giới thiệu Ollama
03:53
10. [Thực hành] Tải lên mô hình cá nhân lên Ollama (+màn hình demo)
04:13
11. [Thực hành] Cài đặt RunPod (feat. cursor/vscode)
11:13
12. [Thực hành] VLM SFT Hands On - Jupyter Notebook
22:08
13. [Thực hành] VLM SFT Hands On - HF Accelerate
06:07
14. [Thực hành] Chuyển đổi GGUF và tải mô hình của riêng bạn lên HuggingFace Hub
08:42
15. [Thực hành] Áp dụng Quantization cho VLM (feat. llama.cpp & gguf & ollama)
10:55

Phần 4. Hiểu Model Context Protocol (MCP) và Phát triển demo PoC

5 bài giảng ∙ (17phút)

Phần 5. Thực hành triển khai demo chat (Hands On)

3 bài giảng ∙ (28phút)

Ngày đăng:

Cập nhật lần cuối:

Đánh giá

Tất cả

14 đánh giá

4.6

14 đánh giá

cgkwon
Đánh giá 12
∙
Đánh giá trung bình 4.0
4
30% đã tham gia
jukyellow7445
Đánh giá 1
∙
Đánh giá trung bình 5.0
5
61% đã tham gia
jgryu4241
Đánh giá 11
∙
Đánh giá trung bình 4.0
4
30% đã tham gia
sangsunkim11958
Đánh giá 1
∙
Đánh giá trung bình 5.0
5
61% đã tham gia
kimsc
Đánh giá 26
∙
Đánh giá trung bình 4.7
Đã chỉnh sửa
5
52% đã tham gia
Cảm ơn bạn vì bài giảng hay.

1.607.251 ₫

Khóa học khác của dreamingbumblebee

Hãy khám phá các khóa học khác của giảng viên!

[LLM 101] Khóa học Llama SFT dành cho người mới bắt đầu với LLM (feat. ChatApp Poc)

dreamingbumblebee

Một chuyên gia đang làm việc sẽ nhanh chóng truyền đạt nội dung trọng tâm, từ kiến thức cơ bản cần cho LLM đến những mẹo thực chiến!

Basic

NLP, ChatGPT, LLM

[LLM 101] Khóa học Llama SFT dành cho người mới bắt đầu với LLM (feat. ChatApp Poc)

dreamingbumblebee

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Từ khái niệm Vision Transformer công nghệ deep learning mới nhất đến triển khai Pytorch

dlbro

Khóa học này nói về việc nghiên cứu Vision Transformer, một trong những công nghệ học sâu mới nhất và thực hiện luận án bằng Pytorch. Hãy cùng tôi trải nghiệm tương lai mới của lĩnh vực tầm nhìn!

Intermediate

Vision Transformer, Deep Learning(DL), PyTorch

Từ khái niệm Vision Transformer công nghệ deep learning mới nhất đến triển khai Pytorch

dlbro

Làm chủ Model Context Protocol (MCP): Hướng dẫn Thực hành

Markus Lang

Làm chủ Model Context Protocol (MCP) là một khóa học thực hành, tập trung vào kỹ thuật được thiết kế để giúp các nhà phát triển xây dựng backend AI thực tế, an toàn và sẵn sàng cho production. Sau khi giúp hàng nghìn học viên vượt qua sự nhầm lẫn xung quanh việc tích hợp LLM, tool calling và kiến trúc backend, tôi đã tạo ra khóa học này để giải quyết những vấn đề phổ biến nhất: "Làm thế nào để xây dựng một backend đáng tin cậy mà LLM có thể gọi một cách an toàn?" "Làm thế nào để lựa chọn giữa SSE, stdio, hoặc streamable-http?" "Làm thế nào để mở rộng MCP thành các ứng dụng thực tế với FastAPI, Auth0, và LangGraph?" "Làm thế nào để cấu trúc các công cụ, tài nguyên, prompts và ngữ cảnh MCP của tôi?" Trong khóa học này, tôi hướng dẫn bạn từng bước—từ việc khởi động một MCP server tối giản đến triển khai một hệ thống được Dockerize hoàn toàn an toàn. Mỗi bài học đều thực hành, được thiết kế để loại bỏ sự phức tạp và cung cấp cho bạn một quy trình làm việc rõ ràng, có thể lặp lại để xây dựng các hệ thống AI hiện đại. Nếu bạn cảm thấy thất vọng với những hướng dẫn mơ hồ và muốn có sự hiểu biết rõ ràng, cụ thể, ở cấp độ kỹ thuật về MCP, khóa học này được xây dựng dành cho bạn.

Intermediate

Python, FastAPI, oauth2

Làm chủ Model Context Protocol (MCP): Hướng dẫn Thực hành

Markus Lang

[LLM 101] Khóa học Llama SFT dành cho người mới bắt đầu với LLM (feat. ChatApp Poc)

dreamingbumblebee

Một chuyên gia đang làm việc sẽ nhanh chóng truyền đạt nội dung trọng tâm, từ kiến thức cơ bản cần cho LLM đến những mẹo thực chiến!

Basic

NLP, ChatGPT, LLM

[LLM 101] Khóa học Llama SFT dành cho người mới bắt đầu với LLM (feat. ChatApp Poc)

dreamingbumblebee

Phát triển AI Agent sử dụng LangGraph (feat. MCP)

jasonkang

LangGraph chứa đầy bí quyết của người phụ trách AI Agent tại các tập đoàn lớn. Tôi sẽ chia sẻ những kiến thức đã tích lũy được qua những thử thách trong công việc thực tế.

Basic

prompt engineering, LLM, AI Agent

Phát triển AI Agent sử dụng LangGraph (feat. MCP)

jasonkang

Bootcamp Học Sâu và PyTorch cho Người Mới Bắt Đầu (Dễ Dàng! Từ Cơ Bản đến Transformer Cốt Lõi của ChatGPT) [Phân Tích/Khoa Học Dữ Liệu Phần 3]

funcoding

Đây là khóa học được thiết kế mới dựa trên kinh nghiệm thất bại khi gi강사 lần đầu học deep learning, giúp bạn từng bước nắm vững toán học cần thiết để hiểu deep learning, lý thuyết, triển khai dựa trên PyTorch, transfer learning, cho đến transformer - trái tim của GPT.

Basic

Deep Learning(DL), PyTorch, Machine Learning(ML)

Bootcamp Học Sâu và PyTorch cho Người Mới Bắt Đầu (Dễ Dàng! Từ Cơ Bản đến Transformer Cốt Lõi của ChatGPT) [Phân Tích/Khoa Học Dữ Liệu Phần 3]

funcoding

Hãy cùng coding với IntelliJ bằng cách sử dụng Model Context Protocol của [Sionic MCP Series 1]!

Sionic AI

Đây là hướng dẫn thực hành về cách sử dụng Model Context Protocol (MCP) để liên kết với IntelliJ và phát triển nhanh hơn.

Beginner

IntelliJ IDEA, LLM, AI

Hãy cùng coding với IntelliJ bằng cách sử dụng Model Context Protocol của [Sionic MCP Series 1]!

Sionic AI

Phát triển TodoList với Claude + IntelliJ - Làm chủ hoàn toàn MCP

Neo

Phát triển TodoList với Claude + IntelliJ - Làm chủ hoàn toàn MCP Hãy tạo TodoList với Claude và IntelliJ để nắm vững hoàn toàn quy trình hoạt động của MCP!

Beginner

Kotlin, Spring Boot, IntelliJ IDEA

Phát triển TodoList với Claude + IntelliJ - Làm chủ hoàn toàn MCP

Neo

Xu hướng là bắt đầu với Vibe Coding và MCP_Cursor AI

Masocampus

Xu hướng mới nhất của AI tạo sinh, AI Agent! Cách đi trước với Cursor giúp hoàn thành công việc phát triển và MCP mở rộng tính năng!

Beginner

cursor, mvp, AI Agent

Xu hướng là bắt đầu với Vibe Coding và MCP_Cursor AI

Masocampus

[Miễn phí] Notion MCP: Từ nhập môn đến ứng dụng

dakgangjung123

Khóa học này tập trung vào việc xây dựng nền tảng cơ bản về Notion API và học cách sử dụng Notion MCP để tự động hóa Notion thông qua việc tích hợp AI (Claude). Bạn sẽ học cách kiểm soát trực tiếp các block, trang và cơ sở dữ liệu theo tài liệu chính thức của API, và cuối cùng hoàn thành một dự án thực tế có thể tạo cơ sở dữ liệu chỉ bằng lệnh ngôn ngữ tự nhiên (prompt) và tự động thêm trang sau khi phân tích nội dung file văn bản.

Beginner

AI, Model Context Protocol, claude

[Miễn phí] Notion MCP: Từ nhập môn đến ứng dụng

dakgangjung123

Chìa khóa nhập môn AI Agent, Tự động hóa công việc hoàn hảo với Claude MCP

Masocampus

AI viết thay cho Slack, Notion của tôi? Làm việc thông minh với MCP đã vượt qua giới hạn của AI truyền thống!

Beginner

Model Context Protocol, AI Agent, Generative AI

Chìa khóa nhập môn AI Agent, Tự động hóa công việc hoàn hảo với Claude MCP

Masocampus