강의

멘토링

로드맵

NEW
AI 개발

/

딥러닝 · 머신러닝

<밑바닥부터 만들면서 배우는 LLM> 코드 해설

<밑바닥부터 만들면서 배우는 LLM>(길벗, 2025)의 코드 해설 강의입니다. 이 코드는 깃허브(https://github.com/rickiepark/llm-from-scratch/)에서 볼 수 있습니다. <밑바닥부터 만들면서 배우는 LLM>은 세바스찬 라시카(Sebastian Raschka)가 쓴 베스트셀러 <Build a Large Langauge Model (from Scratch)>(Manning, 2024)의 번역서입니다. 이 책은 오픈AI가 만든 GPT-2 모델을 밑바닥에서부터 시작해서 완전한 모델을 만들어 보면서 대규모 언어 모델의 작동 원리를 배우고 활용하는 방법을 제공합니다.

3명 이 수강하고 있어요.

  • 박해선
실습 중심
llm
사전훈련
미세튜닝
대규모언어모델
PyTorchgpt-2transformerLLMFine-Tuning

이런 걸 배울 수 있어요

  • 밑바닥부터 시작해서 완전한 LLM을 직접 코드로 구현합니다.

  • 트랜스포머와 어텐션을 비롯해 LLM을 구성하는 핵심 컴포넌트를 배웁니다.

  • GPT와 유사한 LLM을 사전 훈련하는 방법을 배웁니다.

  • 분류를 위해 LLM을 미세 튜닝하는 방법을 배웁니다.

  • 사람의 지시를 따라 응답하도록 LLM을 미세 튜닝하는 방법을 배웁니다.

이 강의는 <밑바닥부터 만들면서 배우는 LLM>과 함께 제공되는 예제 코드를 설명합니다. 깃허브 저장소(https://github.com/rickiepark/llm-from-scratch/)에는 책에 담긴 예제 코드는 물론 다양한 부가 자료가 함께 포함되어 있습니다. 이런 부가 콘텐츠에 대한 설명도 함께 제공됩니다.

이 강의는 책을 구매하지 않아도 누구나 들을 수 있습니다. 하지만 책과 함께 들을 때 가장 효과적입니다. 일부 코드 설명은 책과 함께 보지 않으면 이해하기 어려울 수 있습니다. 필요한 선수 지식은 파이썬 프로그래밍입니다. 딥러닝과 파이토치를 사용해 본 적이 있다면 도움이 됩니다. 만약 이 두 개념을 처음 접한다면 부록 A를 먼저 읽어 보세요.

<밑바닥부터 만들면서 배우는 LLM>의 내용을 다루는 강의는 유튜브에서 무료로 볼 수 있습니다. 에러타는 역자 블로그를 참고해 주세요.

도서 소개

한 줄 한 줄 코드를 따라가다 보면, 나만의 GPT가 완성된다!
GPT를 밑바닥부터 구현하며 LLM의 원리를 손끝으로 체득하는 실전 가이드

어려운 개념은 그림으로 풀고, LLM은 직접 만들면서 배운다. 이 책은 대규모 언어 모델의 구조와 동작 원리를 처음부터 끝까지 직접 구현하며 학습할 수 있는 실전형 LLM 입문서다. 단순히 개념을 설명하는 데 그치지 않고 텍스트 전처리와 토큰화, 임베딩 과정을 출발점으로 삼아, 셀프 어텐션과 멀티헤드 어텐션, 트랜스포머 블록을 차근차근 구축해 나간다. 이어서 이러한 구성 요소들을 통합하여 실제 GPT 모델을 완성하고, 모델의 파라미터 수와 훈련 안정화 기법, 활성화 함수와 정규화 방법 등 최신 아키텍처 설계의 핵심 요소들을 직접 다뤄본다. 또한 사전 학습과 미세 튜닝 과정을 깊이 있게 안내한다. 레이블 없는 데이터에서 사전 훈련을 진행하고, 텍스트 분류와 같은 다운스트림 작업에 맞춰 모델을 튜닝하며, 최근 각광받는 지시 기반 학습 기법까지 실습할 수 있다. LoRA 기반의 파라미터 효율적 미세 조정(PEFT) 같은 최신 내용도 담아 LLM을 실제 서비스와 연구에 연결할 수 있는 방법까지 폭넓게 제시한다. 모든 개념은 파이토치 코드로 구현되어 있으며, 일반 노트북 환경에서도 실습할 수 있도록 최적화했다. 이 책의 구현 과정을 따라가다 보면 LLM 내부에서 어떤 일이 일어나는지 자연스럽게 이해하고, 대규모 언어 모델의 메커니즘이 어떻게 작동하는지 손끝으로 체득하게 될 것이다.

이런 분들께
추천드려요

학습 대상은
누구일까요?

  • 대규모 언어 모델(LLM)의 작동 원리를 상세하게 파악하고 싶은 분

  • 파이토치와 transformers 패키지를 사용해 LLM을 사전 훈련하고 미세 튜닝하고 싶은 분

  • 오픈AI의 GPT-2 모델의 구조를 알고 싶은 분

  • 무엇이든 직접 만들어 봐야 직성이 풀리는 분!

선수 지식,
필요할까요?

  • 파이썬 프로그래밍에 대한 기초 지식이 필요합니다.

안녕하세요
입니다.

20,135

수강생

190

수강평

63

답변

4.8

강의 평점

6

강의

기계공학을 전공했지만 졸업 후엔 줄곧 코드를 읽고 쓰는 일을 했습니다. Google AI/Cloud GDE, Microsoft AI MVP입니다. 텐서 플로우 블로그(tensorflow.blog)를 운영하고 있고, 머신러닝과 딥러닝에 관한 책을 집필하고 번역하면서 소프트웨어와 과학의 경계를 흥미롭게 탐험하고 있습니다.

『혼자 만들면서 공부하는 딥러닝』(한빛미디어, 2025), 『혼자 공부하는 머신러닝+딥러닝(개정판)』(한빛미디어, 2025), 『혼자 공부하는 데이터 분석 with 파이썬』(한빛미디어, 2023), 『챗GPT로 대화하는 기술』(한빛미디어, 2023), 『Do it! 딥러닝 입문』(이지스퍼블리싱, 2019)을 집필했습니다.

『밑바닥부터 만들면서 배우는 LLM』(길벗, 2025), 『핸즈온 LLM』(한빛미디어, 2025), 『머신 러닝 Q & AI』(길벗, 2025), 『개발자를 위한 수학』(한빛미디어, 2024), 『실무로 통하는 ML 문제 해결 with 파이썬』(한빛미디어, 2024), 『머신러닝 교과서: 파이토치 편』(길벗, 2023), 『스티븐 울프럼의 챗GPT 강의』(한빛미디어, 2023), 『핸즈온 머신러닝 3판』(한빛미디어, 2023), 『만들면서 배우는 생성 딥러닝 2판』(한빛미디어, 2023), 『코딩 뇌를 깨우는 파이썬』(한빛미디어, 2023), 『트랜스포머를 활용한 자연어 처리』(한빛미디어, 2022), 『케라스 창시자에게 배우는 딥러닝 2판』(길벗, 2022), 『개발자를 위한 머신러닝&딥러닝』(한빛미디어, 2022), 『XGBoost와 사이킷런을 활용한 그레이디언트 부스팅』(한빛미디어, 2022), 『구글 브레인 팀에게 배우는 딥러닝 with TensorFlow.js』(길벗, 2022), 『(개정2판)파이썬 라이브러리를 활용한 머신러닝』(한빛미디어, 2022)을 포함하여 수십여 권의 책을 우리말로 옮겼습니다.

커리큘럼

전체

44개 ∙ (57분)

강의 게시일: 
마지막 업데이트일: 

수강평

아직 충분한 평가를 받지 못한 강의입니다.
모두에게 도움이 되는 수강평의 주인공이 되어주세요!

얼리버드 할인 중

₩46,200

30%

₩66,000

박해선님의 다른 강의

지식공유자님의 다른 강의를 만나보세요!

비슷한 강의

같은 분야의 다른 강의를 만나보세요!