[VLM101] Tạo chatbot đa phương tiện bằng fine-tuning (feat.MCP)

💡 Các bài giảng cần thiết cho những sinh viên này

😤 "Thật bực mình khi chỉ sử dụng API"

• Nếu bạn đã tạo một dịch vụ bằng API ChatGPT nhưng cảm thấy thất vọng vì nó tốn kém và có nhiều hạn chế,

• Dành cho những ai tò mò về bên trong của một mô hình AI như hộp đen và muốn chạm trực tiếp vào nó

💸 "Chi phí vận hành dịch vụ AI quá đắt"

• Các nhà phát triển khởi nghiệp đang cân nhắc xây dựng mô hình riêng của họ do chi phí gọi OpenAI Vision API

• Bất kỳ ai đang lập kế hoạch cho một dịch vụ đòi hỏi xử lý hình ảnh quy mô lớn

🚀 "Tôi muốn trở thành chuyên gia AI đa phương thức"

• Bất kỳ ai muốn thăng tiến trong sự nghiệp với tư cách là nhà phát triển AI nhưng chỉ học LLM dưới hình thức văn bản

• Người tìm việc muốn thêm một dự án khác biệt vào danh mục đầu tư của mình

🤔 "Tôi không biết chính xác VLM là gì"

• Những người muốn theo dõi xu hướng AI nhưng không hiểu chính xác đa phương thức là gì hoặc VLM là gì

• Dành cho những ai tò mò về các nguyên tắc của AI xử lý hình ảnh và văn bản đồng thời

💡 Những thay đổi cụ thể bạn có thể đạt được sau khi tham gia khóa học

🎯 Kỹ năng thực tế có thể áp dụng ngay

Sau khi hoàn thành khóa học, bạn sẽ có thể tự mình thực hiện các dự án thực hành sau:

• Dịch vụ VLM của riêng tôi : Chatbot phân tích hình ảnh chuyên biệt cho các lĩnh vực cụ thể (y tế, giáo dục, mua sắm, v.v.)

• Quy trình làm việc AI cục bộ : Một hệ thống tự động nơi nhiều công cụ AI cộng tác bằng MCP

• Dịch vụ AI tiết kiệm chi phí : Dịch vụ giảm sự phụ thuộc vào API và hoạt động theo mô hình riêng

📈 Hồ sơ năng lực để thăng tiến trong sự nghiệp

• Kho lưu trữ GitHub : Kho lưu trữ đầy đủ chứa toàn bộ mã thực hành và các mô hình đã được đào tạo.

• Tài liệu blog kỹ thuật : Có thể viết các bài đăng kỹ thuật tóm tắt quá trình tinh chỉnh VLM và kết quả.

• Kinh nghiệm phỏng vấn : Một câu chuyện phỏng vấn khác biệt với “Kinh nghiệm tinh chỉnh VLM trực tiếp”

🧠 Hiểu sâu và ứng dụng

Ngoài cách sử dụng đơn giản:

• Hiểu đầy đủ về hoạt động bên trong của VLM, cho phép học nhanh các mô hình mới

• Áp dụng các kỹ thuật tối ưu hóa mô hình như Lượng tử hóa và chuyển đổi GGUF vào các dự án khác

• Khả năng thiết kế quy trình làm việc AI bằng hệ sinh thái MCP

Môi trường thực hành

• Bài giảng sẽ dựa trên nền tảng MacOS. Nếu bạn sử dụng máy tính Windows và đã cài đặt Docker, bạn có thể dễ dàng theo dõi.

• Trong bài giảng này, chúng ta sẽ sử dụng con trỏ. Tôi nghĩ bạn có thể theo dõi phiên bản vscode mà không gặp vấn đề gì.

• Môi trường đám mây

  • RunPod : Dịch vụ cho thuê GPU, sử dụng H100 hoặc A100

  • Chi phí ước tính : 10 đô la cho toàn bộ quá trình thực hành

  • Ưu điểm : Bạn có thể bắt đầu luyện tập ngay mà không cần bất kỳ môi trường phức tạp nào.

  • ⚠ Lưu ý

    • Bạn cần tạo tài khoản RunPod và đăng ký thẻ thanh toán.

Tài liệu học tập

• Vui lòng kiểm tra tệp PDF và mã nguồn đính kèm

Kiến thức và ghi chú của người chơi

• Kiến thức liên quan đến LLM (tham khảo bài giảng LLM 101 trước đó)

• Cú pháp Python cơ bản (sử dụng lớp, hàm, mô-đun)

• Các khái niệm cơ bản về học sâu/học máy (mạng nơ-ron, đào tạo, suy luận, v.v.)

• Kinh nghiệm đào tạo mô hình trong môi trường GPU được ưu tiên (nhưng không bắt buộc)

• Sự quen thuộc với cách sử dụng terminal/lệnh sẽ hữu ích