강의

멘토링

로드맵

NEW
AI Development

/

Deep Learning & Machine Learning

<ゼロから作って学ぶLLM> コード解説

『ゼロから作って学ぶLLM』(ギルボット、2025)のコード解説講義です。このコードはGitHub(https://github.com/rickiepark/llm-from-scratch/)で見ることができます。 『ゼロから作って学ぶLLM』は、セバスチャン・ラシュカ(Sebastian Raschka)が書いたベストセラー『Build a Large Language Model (from Scratch)』(Manning、2024)の翻訳書です。この本は、OpenAIが作ったGPT-2モデルをゼロから始めて完全なモデルを作ってみながら、大規模言語モデルの動作原理を学び活用する方法を提供します。

3名 が受講中です。

  • haesunpark
실습 중심
llm
사전훈련
미세튜닝
대규모언어모델
PyTorch
gpt-2
transformer
LLM
Fine-Tuning

こんなことが学べます

  • ゼロから始めて完全なLLMを直接コードで実装します。

  • トランスフォーマーとアテンションをはじめ、LLMを構成する核心コンポーネントを学びます。

  • GPTと類似したLLMを事前訓練する方法を学びます。

  • 分類のためにLLMをファインチューニングする方法を学びます。

  • 人間の指示に従って応答するようにLLMをファインチューニングする方法を学びます。

この講義は<ゼロから作って学ぶLLM>と一緒に提供されるサンプルコードを説明します。GitHubリポジトリ(https://github.com/rickiepark/llm-from-scratch/)には本に収録されたサンプルコードはもちろん、様々な補助資料も一緒に含まれています。このような補助コンテンツについての説明も一緒に提供されます。

この講義は本を購入しなくても誰でも受講できます。しかし、本と一緒に受講する時が最も効果的です。一部のコード説明は本と一緒に見なければ理解が困難な場合があります。必要な前提知識はPythonプログラミングです。ディープラーニングとPyTorchを使用したことがあれば役に立ちます。もしこの二つの概念を初めて接するなら、付録Aを先に読んでみてください。

<ゼロから作って学ぶLLM>の内容を扱う講義はYouTubeで無料で見ることができます。正誤表は訳者のブログを参考にしてください。

書籍紹介

一行一行コードを追っていくと、自分だけのGPTが完成する!
GPTをゼロから実装してLLMの原理を指先で体得する実戦ガイド

難しい概念は図で解き、LLMは直接作りながら学ぶ。この本は大規模言語モデルの構造と動作原理を最初から最後まで直接実装しながら学習できる実戦型LLM入門書だ。単純に概念を説明するにとどまらず、テキスト前処理とトークン化、埋め込み過程を出発点として、セルフアテンションとマルチヘッドアテンション、トランスフォーマーブロックを着実に構築していく。続いて、これらの構成要素を統合して実際のGPTモデルを完成させ、モデルのパラメータ数と訓練安定化技法、活性化関数と正規化方法など最新アーキテクチャ設計の核心要素を直接扱ってみる。また、事前学習と微調整過程を深く案内する。ラベルなしデータで事前訓練を進行し、テキスト分類のようなダウンストリームタスクに合わせてモデルをチューニングし、最近注目されている指示ベース学習技法まで実習できる。LoRAベースのパラメータ効率的微調整(PEFT)のような最新内容も含め、LLMを実際のサービスと研究に接続できる方法まで幅広く提示する。すべての概念はPyTorchコードで実装されており、一般的なノートブック環境でも実習できるよう最適化した。この本の実装過程を辿っていくと、LLM内部で何が起こっているかを自然に理解し、大規模言語モデルのメカニズムがどのように動作するかを指先で体得することになるだろう。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • 大規模言語モデル(LLM)の動作原理を詳細に把握したい方

  • PyTorchとtransformersパッケージを使ってLLMを事前訓練し、ファインチューニングしたい方

  • OpenAIのGPT-2モデルの構造を知りたい方

  • 何でも直接作ってみないと気が済まない方!

前提知識、
必要でしょうか?

  • Pythonプログラミングに関する基礎知識が必要です。

こんにちは
です。

20,110

受講生

190

受講レビュー

63

回答

4.8

講座評価

6

講座

기계공학을 전공했지만 졸업 후엔 줄곧 코드를 읽고 쓰는 일을 했습니다. Google AI/Cloud GDE, Microsoft AI MVP입니다. 텐서 플로우 블로그(tensorflow.blog)를 운영하고 있고, 머신러닝과 딥러닝에 관한 책을 집필하고 번역하면서 소프트웨어와 과학의 경계를 흥미롭게 탐험하고 있습니다.

『혼자 만들면서 공부하는 딥러닝』(한빛미디어, 2025), 『혼자 공부하는 머신러닝+딥러닝(개정판)』(한빛미디어, 2025), 『혼자 공부하는 데이터 분석 with 파이썬』(한빛미디어, 2023), 『챗GPT로 대화하는 기술』(한빛미디어, 2023), 『Do it! 딥러닝 입문』(이지스퍼블리싱, 2019)을 집필했습니다.

『밑바닥부터 만들면서 배우는 LLM』(길벗, 2025), 『핸즈온 LLM』(한빛미디어, 2025), 『머신 러닝 Q & AI』(길벗, 2025), 『개발자를 위한 수학』(한빛미디어, 2024), 『실무로 통하는 ML 문제 해결 with 파이썬』(한빛미디어, 2024), 『머신러닝 교과서: 파이토치 편』(길벗, 2023), 『스티븐 울프럼의 챗GPT 강의』(한빛미디어, 2023), 『핸즈온 머신러닝 3판』(한빛미디어, 2023), 『만들면서 배우는 생성 딥러닝 2판』(한빛미디어, 2023), 『코딩 뇌를 깨우는 파이썬』(한빛미디어, 2023), 『트랜스포머를 활용한 자연어 처리』(한빛미디어, 2022), 『케라스 창시자에게 배우는 딥러닝 2판』(길벗, 2022), 『개발자를 위한 머신러닝&딥러닝』(한빛미디어, 2022), 『XGBoost와 사이킷런을 활용한 그레이디언트 부스팅』(한빛미디어, 2022), 『구글 브레인 팀에게 배우는 딥러닝 with TensorFlow.js』(길벗, 2022), 『(개정2판)파이썬 라이브러리를 활용한 머신러닝』(한빛미디어, 2022)을 포함하여 수십여 권의 책을 우리말로 옮겼습니다.

カリキュラム

全体

44件 ∙ (46分)

講座掲載日: 
最終更新日: 

受講レビュー

まだ十分な評価を受けていない講座です。
みんなの役に立つ受講レビューを書いてください!

期間限定セール

¥36

29%

¥7,852

haesunparkの他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!