[VLM101] Tạo chatbot đa phương thức bằng fine-tuning (feat.MCP / RunPod)

💡 Khóa học cần thiết cho những học viên như thế này

😤 "Chỉ dùng API thôi thì đáp đáp quá"

• Bạn đã tạo dịch vụ bằng ChatGPT API nhưng cảm thấy bế tắc vì chi phí cao và nhiều hạn chế

• Những người tò mò về bên trong mô hình AI như hộp đen và muốn trực tiếp thử nghiệm

💸 "Chi phí vận hành dịch vụ AI quá đắt"

• Nhà phát triển startup đang cân nhắc xây dựng mô hình riêng do chi phí gọi OpenAI Vision API quá cao

• Những người đang lên kế hoạch cho dịch vụ cần xử lý lượng lớn hình ảnh

🚀 "Tôi muốn trở thành chuyên gia AI đa phương thức"

• Những người muốn phát triển sự nghiệp với tư cách là nhà phát triển AI nhưng chỉ mới làm việc với LLM dựa trên văn bản

• Sinh viên chuẩn bị việc làm muốn thêm dự án khác biệt vào portfolio

🤔 "Tôi không hiểu chính xác VLM là gì"

• Những người muốn theo kịp xu hướng AI nhưng chưa hiểu rõ multimodal là gì, VLM là gì

• Những người tò mò về nguyên lý hoạt động của AI xử lý đồng thời hình ảnh và văn bản

💡 Những thay đổi cụ thể bạn có thể đạt được sau khóa học

🎯 Kỹ năng thực tế có thể áp dụng ngay lập tức

Sau khi hoàn thành khóa học, bạn có thể tự mình thực hiện các dự án thực tế như sau:

• Dịch vụ VLM của riêng bạn: Chatbot phân tích hình ảnh chuyên biệt cho các lĩnh vực cụ thể (y tế, giáo dục, mua sắm, v.v.)

• Quy trình làm việc AI cục bộ: Hệ thống tự động hóa nơi nhiều công cụ AI cộng tác sử dụng MCP

• Dịch vụ AI tiết kiệm chi phí: Dịch vụ vận hành bằng mô hình riêng, giảm sự phụ thuộc vào API

📈 Portfolio để phát triển sự nghiệp

• Kho lưu trữ GitHub: Repository hoàn chỉnh với toàn bộ mã thực hành và mô hình đã được huấn luyện

• Chủ đề cho blog kỹ thuật: Có thể viết bài đăng kỹ thuật tổng hợp quá trình và kết quả fine-tuning VLM

• Câu chuyện phỏng vấn: Câu chuyện phỏng vấn khác biệt với "kinh nghiệm tự mình fine-tuning VLM"

🧠 Hiểu biết sâu sắc và khả năng ứng dụng

Vượt ra ngoài cách sử dụng đơn giản:

• Hiểu hoàn toàn nguyên lý hoạt động bên trong của VLM để có thể học các mô hình mới một cách nhanh chóng

• Quantization, chuyển đổi GGUF và các kỹ thuật tối ưu hóa mô hình khác có thể áp dụng cho các dự án khác

• Khả năng thiết kế quy trình làm việc AI sử dụng hệ sinh thái MCP

Môi trường thực hành

• Khóa học được giảng dạy dựa trên MacOS. Nếu bạn sử dụng máy Windows và đã cài đặt docker thì có thể theo dõi hầu hết nội dung.

• Trong khóa học sử dụng cursor. Tôi nghĩ bạn cũng có thể theo dõi tốt với phiên bản vscode.

• Môi trường đám mây

  • RunPod: Dịch vụ thuê GPU instance, sử dụng H100 hoặc A100

  • Chi phí dự kiến: 10 đô la cho toàn bộ khóa thực hành

  • Ưu điểm: Có thể thực hành ngay lập tức mà không cần cài đặt môi trường phức tạp

  • ⚠ Lưu ý

    • Cần tạo tài khoản RunPod và đăng ký thẻ thanh toán

Tài liệu học tập

• Bạn có thể kiểm tra file PDF và mã nguồn đính kèm

Kiến thức tiên quyết và lưu ý

• Kiến thức liên quan đến LLM (tham khảo khóa học LLM 101 trước đó)

• Cú pháp Python cơ bản (sử dụng class, hàm, module)

• Các khái niệm cơ bản về Deep Learning/Machine Learning (mạng neural, huấn luyện, suy luận, v.v.)

• Có kinh nghiệm huấn luyện mô hình trên môi trường GPU sẽ tốt (không bắt buộc)

• Quen thuộc với việc sử dụng terminal/dòng lệnh sẽ có ích