[VLM101] 파인튜닝으로 멀티모달 챗봇 만들기 (feat.MCP / RunPod)

💡 이런 수강생에게 필요한 강의

😤 "API만 쓰는 게 답답해요"

• ChatGPT API로 서비스를 만들었지만, 비용도 부담되고 제약도 많아서 답답하신 분

• 블랙박스 같은 AI 모델 내부가 궁금해서 직접 만져보고 싶으신 분

💸 "AI 서비스 운영비가 너무 비싸요"

• OpenAI Vision API 호출 비용이 부담되어 자체 모델 구축을 고려 중인 스타트업 개발자

• 대량의 이미지 처리가 필요한 서비스를 기획 중인 분

🚀 "멀티모달 AI 전문가가 되고 싶어요"

• AI 개발자로 커리어를 발전시키고 싶지만 텍스트 기반 LLM만 다뤄본 분

• 포트폴리오에 차별화된 프로젝트를 추가하고 싶은 취업 준비생

🤔 "VLM이 정확히 뭔지 모르겠어요"

• AI 트렌드는 따라가고 싶지만 멀티모달이 뭔지, VLM이 뭔지 정확히 이해하지 못하신 분

• 이미지와 텍스트를 동시에 처리하는 AI의 원리가 궁금하신 분

💡 수강 후 얻을 수 있는 구체적 변화

🎯 즉시 활용 가능한 실무 스킬

수강 완료 후에는 다음과 같은 실전 프로젝트를 혼자서도 진행할 수 있습니다:

• 나만의 VLM 서비스: 특정 도메인(의료, 교육, 쇼핑 등)에 특화된 이미지 분석 챗봇

• 로컬 AI 워크플로우: MCP를 활용해 여러 AI 도구들이 협업하는 자동화 시스템

• 비용 효율적 AI 서비스: API 의존도를 줄이고 자체 모델로 운영하는 서비스

📈 커리어 발전을 위한 포트폴리오

• GitHub 저장소: 전체 실습 코드와 훈련된 모델을 정리한 완성도 높은 레포지토리

• 기술 블로그 소재: VLM 파인튜닝 과정과 결과를 정리한 기술 포스팅 작성 가능

• 면접 경험담: "직접 VLM을 파인튜닝해본 경험"으로 차별화된 면접 스토리

🧠 깊이 있는 이해와 응용력

단순한 사용법을 넘어서:

• VLM의 내부 동작 원리를 완전히 이해하여 새로운 모델도 빠르게 학습 가능

• Quantization, GGUF 변환 등 모델 최적화 기법을 다른 프로젝트에도 응용

• MCP 생태계를 활용한 AI 워크플로우 설계 능력

실습 환경

• 강의는 MacOS 기준으로 설명합니다. 윈도우 머신이라면 docker가 설치되어 있다면 대부분 따라오실 수 있습니다.

• 강의에서는 cursor을 사용합니다. vscode 버전도 무리없이 따라오실 수 있다고 생각합니다.

• 클라우드 환경

  • RunPod: GPU 인스턴스 대여 서비스, H100 또는 A100 사용

  • 예상 비용: 전체 실습 기준 10달러

  • 장점: 복잡한 환경 설정 없이 바로 실습 가능

  • ⚠ 유의사항

    • RunPod 계정 생성 및 결제 카드 등록 필요

학습 자료

• 첨부하는 PDF 및 소스 코드를 확인하시면 됩니다

선수 지식 및 유의사항

• LLM 관련 지식 (이전 LLM 101 강의 참고)

• 기본적인 Python 문법 (클래스, 함수, 모듈 사용)

• 딥러닝/머신러닝 기초 개념 (신경망, 훈련, 추론 등)

• GPU 환경에서의 모델 훈련 경험이 있으면 좋습니다 (필수는 아님)

• 터미널/명령어 사용에 익숙하면 도움이 됩니다