기계공학을 전공했지만 졸업 후엔 줄곧 코드를 읽고 쓰는 일을 했습니다. Google AI/Cloud GDE 입니다. 텐서 플로우 블로그(tensorflow.blog)를 운영하고 있고, 머신러닝과 딥러닝에 관한 책을 집필하고 번역하면서 소프트웨어와 과학의 경계를 흥미롭게 탐험하고 있습니다.
한 줄 한 줄 코드를 따라가다 보면, 나만의 GPT가 완성된다! GPT를 밑바닥부터 구현하며 LLM의 원리를 손끝으로 체득하는 실전 가이드
어려운 개념은 그림으로 풀고, LLM은 직접 만들면서 배운다. 이 책은 대규모 언어 모델의 구조와 동작 원리를 처음부터 끝까지 직접 구현하며 학습할 수 있는 실전형 LLM 입문서다. 단순히 개념을 설명하는 데 그치지 않고 텍스트 전처리와 토큰화, 임베딩 과정을 출발점으로 삼아, 셀프 어텐션과 멀티헤드 어텐션, 트랜스포머 블록을 차근차근 구축해 나간다. 이어서 이러한 구성 요소들을 통합하여 실제 GPT 모델을 완성하고, 모델의 파라미터 수와 훈련 안정화 기법, 활성화 함수와 정규화 방법 등 최신 아키텍처 설계의 핵심 요소들을 직접 다뤄본다. 또한 사전 학습과 미세 튜닝 과정을 깊이 있게 안내한다. 레이블 없는 데이터에서 사전 훈련을 진행하고, 텍스트 분류와 같은 다운스트림 작업에 맞춰 모델을 튜닝하며, 최근 각광받는 지시 기반 학습 기법까지 실습할 수 있다. LoRA 기반의 파라미터 효율적 미세 조정(PEFT) 같은 최신 내용도 담아 LLM을 실제 서비스와 연구에 연결할 수 있는 방법까지 폭넓게 제시한다. 모든 개념은 파이토치 코드로 구현되어 있으며, 일반 노트북 환경에서도 실습할 수 있도록 최적화했다. 이 책의 구현 과정을 따라가다 보면 LLM 내부에서 어떤 일이 일어나는지 자연스럽게 이해하고, 대규모 언어 모델의 메커니즘이 어떻게 작동하는지 손끝으로 체득하게 될 것이다.
아쉽지만 현재 출판사에서 열심히 이북을 제작 중이나 분량이 많고 휴일이 겹쳐 챌린지 시작 전에 완료되기 어렵습니다. 이번 챌린지에서는 종이 책으로만 참여가 가능합니다.
네, 가능합니다. 16GB 정도의 RAM을 가진 GPU라면 예제 코드를 실행하는데 큰 문제가 없습니다. 다만 문제가 생겼을 때 원격으로 문제 해결을 도와드리기는 어렵습니다. 이 책의 코드는 구글 코랩을 기반으로 테스트되었습니다. 코랩에서 예제를 실행하는데 문제가 있다면 이를 재현하고 해결하는데 역자가 도움을 드립니다.
GPU가 없어도 예제 코드를 실행할 수 있지만 일부 예제의 경우 매우 느릴 수 있습니다. 가능하면 구글 코랩에서 제공하는 무료 T4 GPU를 사용하시길 권장드립니다. 코랩 유료 구독에서 제공하는 A100 GPU를 사용하면 예제를 더 빠르게 실행할 수 있습니다.
<밑바닥부터 만들면서 배우는 LLM> 코드 해설 강의는 10월 3일 일부 강의를 제작하여 오픈했습니다. 이 챌린지에 참여하시는 모든 수강생은 10월 6일 해당 강의의 무료 쿠폰에 대한 안내 메일을 받으실 수 있어요. 무료 쿠폰에 관해 안내를 받으시면 3일 내에 쿠폰을 발급 받고 24시간 내에 발급 받은 쿠폰을 사용해 강의를 구매하시면 됩니다.
취소 및 환불 규정 챌린지는 지식공유자가 설정한 수업 최소 정원이 충족되지 않을 경우, 폐강 안내가 고지되며 결제 내역이 자동취소됩니다.