<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지

챌린지 안내

이 챌린지의 모집 기간은 9월 23일부터 10월 5일까지입니다.

챌린지 일정은 10월 6일부터 11월 30일까지 8주간 진행됩니다.

(실제 챌린지 커리큘럼은 7주이지만 추석 연휴를 고려하여 기간을 8주로 잡았습니다)

챌린지에 참여하시면 다음과 같은 정보와 혜택이 제공됩니다.

1. 역자가 본문을 설명하는 동영상 강의를 제공합니다.

2. 매주 독서 인증과 함께 진도 케어

3. 챌린지 참가 전원에게 해당 도서의 코드를 설명하는 유료 강의(6만원 상당, 추후 공개) 무료 쿠폰 제공

4. 챌린지 완주시 길벗 홈페이지에서 현금처럼 사용할 수 있는 포인트 2만점 지급 (포인트를 후원해 주신 길벗 출판사에 감사드립니다)

참고 사이트

• 도서 페이지: https://tensorflow.blog/llm-from-scratch/

• 깃허브: https://github.com/rickiepark/llm-from-scratch

도서 소개

한 줄 한 줄 코드를 따라가다 보면, 나만의 GPT가 완성된다!
GPT를 밑바닥부터 구현하며 LLM의 원리를 손끝으로 체득하는 실전 가이드

어려운 개념은 그림으로 풀고, LLM은 직접 만들면서 배운다. 이 책은 대규모 언어 모델의 구조와 동작 원리를 처음부터 끝까지 직접 구현하며 학습할 수 있는 실전형 LLM 입문서다. 단순히 개념을 설명하는 데 그치지 않고 텍스트 전처리와 토큰화, 임베딩 과정을 출발점으로 삼아, 셀프 어텐션과 멀티헤드 어텐션, 트랜스포머 블록을 차근차근 구축해 나간다. 이어서 이러한 구성 요소들을 통합하여 실제 GPT 모델을 완성하고, 모델의 파라미터 수와 훈련 안정화 기법, 활성화 함수와 정규화 방법 등 최신 아키텍처 설계의 핵심 요소들을 직접 다뤄본다. 또한 사전 학습과 미세 튜닝 과정을 깊이 있게 안내한다. 레이블 없는 데이터에서 사전 훈련을 진행하고, 텍스트 분류와 같은 다운스트림 작업에 맞춰 모델을 튜닝하며, 최근 각광받는 지시 기반 학습 기법까지 실습할 수 있다. LoRA 기반의 파라미터 효율적 미세 조정(PEFT) 같은 최신 내용도 담아 LLM을 실제 서비스와 연구에 연결할 수 있는 방법까지 폭넓게 제시한다. 모든 개념은 파이토치 코드로 구현되어 있으며, 일반 노트북 환경에서도 실습할 수 있도록 최적화했다. 이 책의 구현 과정을 따라가다 보면 LLM 내부에서 어떤 일이 일어나는지 자연스럽게 이해하고, 대규모 언어 모델의 메커니즘이 어떻게 작동하는지 손끝으로 체득하게 될 것이다.