<밑바닥부터 만들면서 배우는 LLM>(길벗, 2025)의 깃허브 노트북과 보너스 콘텐츠를 다루는 강의입니다. 깃허브: https://github.com/rickiepark/llm-from-scratch/
<밑바닥부터 만들면서 배우는 LLM>은 세바스찬 라시카(Sebastian Raschka)가 쓴 베스트셀러 <Build a Large Langauge Model (from Scratch)>(Manning, 2024)의 번역서입니다. 이 책은 오픈AI가 만든 GPT-2 모델을 밑바닥에서부터 시작해서 완전한 모델을 만들어 보면서 대규모 언어 모델의 작동 원리를 배우고 활용하는 방법을 제공합니다.
이 강의는 책을 구매하지 않아도 누구나 들을 수 있습니다. 하지만 책과 함께 들을 때 가장 효과적입니다. 일부 코드 설명은 책과 함께 보지 않으면 이해하기 어려울 수 있습니다. 필요한 선수 지식은 파이썬 프로그래밍입니다. 딥러닝과 파이토치를 사용해 본 적이 있다면 도움이 됩니다. 만약 이 두 개념을 처음 접한다면 부록 A를 먼저 읽어 보세요.
한 줄 한 줄 코드를 따라가다 보면, 나만의 GPT가 완성된다! GPT를 밑바닥부터 구현하며 LLM의 원리를 손끝으로 체득하는 실전 가이드
어려운 개념은 그림으로 풀고, LLM은 직접 만들면서 배운다. 이 책은 대규모 언어 모델의 구조와 동작 원리를 처음부터 끝까지 직접 구현하며 학습할 수 있는 실전형 LLM 입문서다. 단순히 개념을 설명하는 데 그치지 않고 텍스트 전처리와 토큰화, 임베딩 과정을 출발점으로 삼아, 셀프 어텐션과 멀티헤드 어텐션, 트랜스포머 블록을 차근차근 구축해 나간다. 이어서 이러한 구성 요소들을 통합하여 실제 GPT 모델을 완성하고, 모델의 파라미터 수와 훈련 안정화 기법, 활성화 함수와 정규화 방법 등 최신 아키텍처 설계의 핵심 요소들을 직접 다뤄본다. 또한 사전 학습과 미세 튜닝 과정을 깊이 있게 안내한다. 레이블 없는 데이터에서 사전 훈련을 진행하고, 텍스트 분류와 같은 다운스트림 작업에 맞춰 모델을 튜닝하며, 최근 각광받는 지시 기반 학습 기법까지 실습할 수 있다. LoRA 기반의 파라미터 효율적 미세 조정(PEFT) 같은 최신 내용도 담아 LLM을 실제 서비스와 연구에 연결할 수 있는 방법까지 폭넓게 제시한다. 모든 개념은 파이토치 코드로 구현되어 있으며, 일반 노트북 환경에서도 실습할 수 있도록 최적화했다. 이 책의 구현 과정을 따라가다 보면 LLM 내부에서 어떤 일이 일어나는지 자연스럽게 이해하고, 대규모 언어 모델의 메커니즘이 어떻게 작동하는지 손끝으로 체득하게 될 것이다.
이런 분들께 추천드려요
학습 대상은 누구일까요?
대규모 언어 모델(LLM)의 작동 원리를 상세하게 파악하고 싶은 분
파이토치와 transformers 패키지를 사용해 LLM을 사전 훈련하고 미세 튜닝하고 싶은 분
기계공학을 전공했지만 졸업 후엔 줄곧 코드를 읽고 쓰는 일을 했습니다. Google AI/Cloud GDE 입니다. 텐서 플로우 블로그(tensorflow.blog)를 운영하고 있고, 머신러닝과 딥러닝에 관한 책을 집필하고 번역하면서 소프트웨어와 과학의 경계를 흥미롭게 탐험하고 있습니다.