강의

N
챌린지

멘토링

N
클립

커뮤니티

로드맵 썸네일
AI 기술

AI 개발자 입문 로드맵: 직접 만드는 LLM & 멀티모달 챗봇(feat.MCP)

작성자 프로필 이미지

꿈꾸는범블비

Llama
NLP
Vision Transformer

초급 대상

로드맵 참여중인 유저 프로필 사진
로드맵 참여중인 유저 프로필 사진

58명 참여중

조회수

2,000

20% 할인

4개 남음•전체 구매 적용
쿠폰 받기
로드맵_배너1

기초부터 탄탄한 LLM & VLM & MCP 개발의 해답!

Claude, GPT, Gemini..

API 연동을 넘어
진짜로 경험하는 AI 개발

요즘은 GPT나 Claude API를 활용해 손쉽게 챗봇을 만들 수 있습니다.
하지만 정말 중요한 건, 모델이 어떻게 작동하는지 이해하고, 직접 튜닝하고 서빙하며 내가 원하는 방식으로 연결해본 경험이 있는가 입니다.

이 강의에서는 텍스트를 처리하는 LLM부터 이미지까지 함께 다루는 멀티모달 VLM까지 활용해, 직접 모델을 만들고 커스터마이징하며, 간단한 인터페이스까지 연동된 챗봇 시스템을 구현해봅니다. 단순한 API 호출이 아닌, 모델 튜닝부터 실전 구조 설계까지 이어지는 ‘진짜 AI 개발 경험’을 제공하는 실습형 강의입니다.

💬 Why LLM & VLM?

대화형 AI 시스템이란 무엇일까요?
저는 이렇게 정의하고 싶어요.

  • "고유한 대화 흐름을 갖춘 똑똑한 비서"

  • "텍스트와 이미지를 동시에 이해하는 멀티모달 인터페이스"

  • "클라우드 없이 로컬에서도 동작하는 효율적인 AI"

요즘은 LLM과 VLM을 단순히 사용하는 것을 넘어서
직접 튜닝하고 서빙하고 연결하는 능력이 중요해지고 있어요.

🧠LLM & VLM을 이해하면, 나만의 지능형 멀티모달 챗봇을 만들 수 있습니다

배너1-001
배너2-001

🧩What is LLM & VLM?

단순히 API만 호출하는 것이 아니라, 직접 모델을 만들고 튜닝하고 로컬에서 서빙하며, 텍스트 + 이미지 멀티모달 대화 챗봇을 완성해보는 여정을 함께합니다.

  • LLM: 자연어처리 기초부터 Instruction 튜닝(SFT), 로컬 서빙, Chat-UI로 챗봇 데모 구현

  • VLM: CLIP → LLaVA → Qwen2.5vl 모델 구조 학습, 그리고 이미지 이해 모델 파인튜닝

  • MCP: 여러 MCP 서버를 연결하는 워크플로우 설계


이런 분들께 추천드려요.

✅

LLM 입문부터 MCP까지 경험하고 싶은 분

👉 LLM 개념부터 튜닝, 서빙, 챗봇 개발까지
전 과정 학습이 가능합니다

✅

나만의 LLM 챗봇을 만들고 싶은 분

👉 llama.cpp로 로컬에서 직접 서빙하며,
채팅데모도 함께 개발해 볼 수 있어요

✅

멀티모달 챗봇을 만들고 싶은 분

👉 NLP 전반 내용을 직관적인 레벨에서 빠르게 리뷰하고 LLM, VLM으로 확장해요

✅

API사용을 넘어 직접 모델까지 다루고 싶은 분

👉 실습 결과물을 정리하여 GitHub와
블로그에 올릴 수 있습니다

2가지 강의를 
순서대로 학습해보세요.

#1. 처음 배우는 LLM, 실전 튜닝으로 챗봇 완성하기

LLM을 처음 배우는 분도 쉽게 따라올 수 있는 강의입니다.
자연어처리의 핵심 개념과 함께,
원하는 데이터로 Instruction Tuning (SFT)을 진행해
나만의 텍스트 기반 대화형 AI를 만들게 됩니다.

📌 llama.cpp를 이용해 로컬에서 모델을 서빙하고,
📌 Chat-UI를 직접 구현하여 웹/모바일에서 사용 가능한 데모까지 완성합니다.

llm101_크기조절

⭐⭐⭐⭐⭐

개인 사이드 프로젝트에 LLM이 필요로 하였는데 이 강의가 많은 도움이 되었습니다. 회사에서도 LLM에 기초를 원하시는 분들에게 추천을 하였습니다. 이 담도 좋은 강의 기대하겠습니다.

⭐⭐⭐⭐⭐

최근에 인공지능을 사용한 서비스를 만들고 싶어서 수강하게 되었는데 처음 접하는 사람이 듣기에도 쉽게 설명해주셔서 이해가 잘 되었습니다. 개념설명 후 실습내용도 같이 있어서 더 이해하기 좋았던것 같네요. 앞으로도 좋은 강의 많이 만들어주시면 감사하겠습니다!

#2. 이미지까지 이해하는 멀티모달 챗봇 만들기 (feat. MCP)

LLM 기반 챗봇이 준비되었다면 이제는 한 걸음 더 나아가 VLM을 통해 이미지를 함께 이해하는 AI 챗봇을 만들어봅니다.
LLaVA, Qwen2.5v 모델을 직접 튜닝하고,
Quantization + GGUF 변환 → Ollama 로컬 서빙까지 경험할 수 있어요.

📌 MCP(Model Context Protocol)를 통해 여러 모델을 연결하여
📌텍스트+이미지가 함께 작동하는 멀티모달 챗봇을 구현해봅니다.

vlm_썸네일

⭐⭐⭐⭐⭐

VLM 학습 부터 GGUF 변환 및 local에서 실제 주식 분석에 적용까지 넓은 범위를 깔끔하게 정리해주셨네요. VLM 개념을 잡고 기본적인 활용법을 배우는 데 큰 도움이 되었네요. 이제 음성까지 붙여서 진정한 멀티모달 모델의 시대도 곧 왔으면 좋겠네요.

⭐⭐⭐⭐⭐

VLM의 기초부터 LLaVA 시리즈까지 빠르게 보기에 좋은것 같습니다 RunPod 활용이나, MCP등도 빠르게 개념 익히고 실습 해볼 수 있어서 좋네요


로드맵 상세보기

총 2개 코스

로드맵에 포함된 강의 썸네일
인프런
[LLM 101] LLM 필수기초 & LLaMA SFT 튜닝하기 (feat. 2시간속성코스)
LLM을 위해 필요한 기초지식부터 실전에서 쓰일법한 팁까지 핵심적인 내용위주로 빠르게 현직자가 전달합니다!
로드맵에 포함된 강의 썸네일
인프런
[VLM101] 파인튜닝으로 멀티모달 챗봇 만들기 (feat.MCP)
비전-언어 모델(Vision-Language Model, VLM)의 개념과 활용 방법을 이해하고, 실제로 LLaVA 모델을 Ollama 기반 환경에서 실행하며 MCP(Model Context Protocol)와 연동하는 과정을 실습하는 입문자용 강의입니다.

이 강의는 멀티모달 모델의 원리, 경량화(Quantization), 서비스 및 통합 데모 개발까지 다루며, 이론과 실습을 균형 있게 제공합니다.

20% 할인

4개 남음•전체 구매 적용
쿠폰 받기

로드맵 코스 2