김진철

<밑바닥부터 만들면서 배우는 LLM>(길벗, 2025)의 깃허브 노트북과 보너스 콘텐츠를 다루는 강의입니다. 깃허브: https://github.com/rickiepark/llm-from-scratch/
<밑바닥부터 만들면서 배우는 LLM>은 세바스찬 라시카(Sebastian Raschka)가 쓴 베스트셀러 <Build a Large Langauge Model (from Scratch)>(Manning, 2024)의 번역서입니다. 이 책은 오픈AI가 만든 GPT-2 모델을 밑바닥에서부터 시작해서 완전한 모델을 만들어 보면서 대규모 언어 모델의 작동 원리를 배우고 활용하는 방법을 제공합니다.

박해선

<밑바닥부터 만들면서 배우는 LLM> 해설 강의

실습 중심

사전훈련

미세튜닝

대규모언어모델

입문

초급

중급이상

파이토치

PyTorch

gpt-2

transformer

대규모 언어 모델

파인튜닝(미세조정)

Fine-Tuning

0 강의 소개

1장 대규모 언어 모델 이해하기

2장 텍스트 데이터 다루기

3장 어텐션 메커니즘 구현하기

4장 밑바닥부터 GPT 모델 구현하기

5장 레이블이 없는 데이터를 활용한 사전 훈련

6장 분류를 위해 미세 튜닝하기

7장 지시를 따르도록 미세 튜닝하기