강의

멘토링

커뮤니티

BEST
AI Technology

/

Deep Learning & Machine Learning

<밑바닥부터 만들면서 배우는 LLM> 解説講義

『ゼロから作って学ぶLLM』(ギルボット、2025)のGitHubノートブックとボーナスコンテンツを扱う講義です。GitHub: https://github.com/rickiepark/llm-from-scratch/ 『ゼロから作って学ぶLLM』は、セバスチャン・ラシュカ(Sebastian Raschka)が書いたベストセラー『Build a Large Language Model (from Scratch)』(Manning、2024)の翻訳書です。この本は、OpenAIが作ったGPT-2モデルをゼロから始めて完全なモデルを作ってみながら、大規模言語モデルの動作原理を学び活用する方法を提供します。

  • haesunpark
실습 중심
llm
사전훈련
미세튜닝
대규모언어모델
PyTorch
gpt-2
transformer
LLM
Fine-Tuning

学習した受講者のレビュー

受講後に得られること

  • ゼロから始めて完全なLLMを直接コードで実装します。

  • トランスフォーマーとアテンションをはじめ、LLMを構成する核心コンポーネントを学びます。

  • GPTと類似したLLMを事前訓練する方法を学びます。

  • 分類のためにLLMをファインチューニングする方法を学びます。

  • 人間の指示に従って応答するようにLLMをファインチューニングする方法を学びます。

この講義は<ゼロから作って学ぶLLM>と一緒に提供される例題コードを説明します。GitHubリポジトリ(https://github.com/rickiepark/llm-from-scratch/)には本に収録された例題コードはもちろん、様々な付加資料も一緒に含まれています。このような付加コンテンツについての説明も一緒に提供されます。

この講義は本を購入しなくても誰でも受講できます。しかし、本と一緒に受講する時が最も効果的です。一部のコード説明は本と一緒に見なければ理解が困難な場合があります。必要な前提知識はPythonプログラミングです。ディープラーニングとPyTorchを使用したことがあれば役立ちます。もしこの二つの概念を初めて接するなら、付録Aを先に読んでみてください。

ゼロから作って学ぶLLMの内容を扱う講義はYouTubeで無料で見ることができます。正誤表は翻訳者のブログを参考にしてください。

書籍紹介

一行一行コードを追っていくと、自分だけのGPTが完成する!
GPTをゼロから実装してLLMの原理を指先で体得する実戦ガイド

難しい概念は図で解き、LLMは直接作りながら学ぶ。この本は大規模言語モデルの構造と動作原理を最初から最後まで直接実装しながら学習できる実戦型LLM入門書だ。単純に概念を説明するだけにとどまらず、テキスト前処理とトークン化、埋め込み過程を出発点として、セルフアテンションとマルチヘッドアテンション、トランスフォーマーブロックを着実に構築していく。続いて、これらの構成要素を統合して実際のGPTモデルを完成させ、モデルのパラメータ数と訓練安定化技法、活性化関数と正規化方法など最新アーキテクチャ設計の核心要素を直接扱ってみる。また、事前学習と微調整過程を深く案内する。ラベルなしデータで事前訓練を進行し、テキスト分類のようなダウンストリームタスクに合わせてモデルをチューニングし、最近注目を集める指示ベース学習技法まで実習できる。LoRAベースのパラメータ効率的微調整(PEFT)のような最新内容も含めて、LLMを実際のサービスと研究に接続できる方法まで幅広く提示する。すべての概念はPyTorchコードで実装されており、一般的なノートブック環境でも実習できるよう最適化した。この本の実装過程を辿っていけば、LLM内部でどんなことが起こるのかを自然に理解し、大規模言語モデルのメカニズムがどのように動作するのかを手先で体得することになるだろう。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • 大規模言語モデル(LLM)の動作原理を詳細に把握したい方

  • PyTorchとtransformersパッケージを使ってLLMを事前訓練し、ファインチューニングしたい方

  • OpenAIのGPT-2モデルの構造を知りたい方

  • 何でも直接作ってみないと気が済まない方!

前提知識、
必要でしょうか?

  • Pythonプログラミングに関する基礎知識が必要です。

こんにちは
です。

21,826

受講生

337

受講レビュー

121

回答

4.9

講座評価

10

講座

기계공학을 전공했지만 졸업 후엔 줄곧 코드를 읽고 쓰는 일을 했습니다. Google AI/Cloud GDE, Microsoft AI MVP입니다. 텐서 플로우 블로그(tensorflow.blog)를 운영하고 있고, 머신러닝과 딥러닝에 관한 책을 집필하고 번역하면서 소프트웨어와 과학의 경계를 흥미롭게 탐험하고 있습니다.

『혼자 만들면서 공부하는 딥러닝』(한빛미디어, 2025), 『혼자 공부하는 머신러닝+딥러닝(개정판)』(한빛미디어, 2025), 『혼자 공부하는 데이터 분석 with 파이썬』(한빛미디어, 2023), 『챗GPT로 대화하는 기술』(한빛미디어, 2023), 『Do it! 딥러닝 입문』(이지스퍼블리싱, 2019)을 집필했습니다.

『밑바닥부터 만들면서 배우는 LLM』(길벗, 2025), 『핸즈온 LLM』(한빛미디어, 2025), 『머신 러닝 Q & AI』(길벗, 2025), 『개발자를 위한 수학』(한빛미디어, 2024), 『실무로 통하는 ML 문제 해결 with 파이썬』(한빛미디어, 2024), 『머신러닝 교과서: 파이토치 편』(길벗, 2023), 『스티븐 울프럼의 챗GPT 강의』(한빛미디어, 2023), 『핸즈온 머신러닝 3판』(한빛미디어, 2023), 『만들면서 배우는 생성 딥러닝 2판』(한빛미디어, 2023), 『코딩 뇌를 깨우는 파이썬』(한빛미디어, 2023), 『트랜스포머를 활용한 자연어 처리』(한빛미디어, 2022), 『케라스 창시자에게 배우는 딥러닝 2판』(길벗, 2022), 『개발자를 위한 머신러닝&딥러닝』(한빛미디어, 2022), 『XGBoost와 사이킷런을 활용한 그레이디언트 부스팅』(한빛미디어, 2022), 『구글 브레인 팀에게 배우는 딥러닝 with TensorFlow.js』(길벗, 2022), 『(개정2판)파이썬 라이브러리를 활용한 머신러닝』(한빛미디어, 2022)을 포함하여 수십여 권의 책을 우리말로 옮겼습니다.

カリキュラム

全体

79件 ∙ (15時間 24分)

講座掲載日: 
最終更新日: 

受講レビュー

全体

14件

5.0

14件の受講レビュー

  • 85artihoya님의 프로필 이미지
    85artihoya

    受講レビュー 1

    平均評価 5.0

    5

    30% 受講後に作成

    • cyt97726188님의 프로필 이미지
      cyt97726188

      受講レビュー 1

      平均評価 5.0

      5

      30% 受講後に作成

      • aboutexo046263님의 프로필 이미지
        aboutexo046263

        受講レビュー 13

        平均評価 4.8

        5

        30% 受講後に作成

        • haesunpark
          知識共有者

          ありがとうございます!

      • nugury551205님의 프로필 이미지
        nugury551205

        受講レビュー 2

        平均評価 5.0

        5

        30% 受講後に作成

        • haesunpark
          知識共有者

          ありがとうございます!

      • redinblue6136님의 프로필 이미지
        redinblue6136

        受講レビュー 4

        平均評価 5.0

        5

        100% 受講後に作成

        以下の順序でスタディしました。 チャレンジ講義受講 - 書籍読書 - ソース解説講義受講 大規模言語モデル核心だけ素早くに続けていきます。

        • haesunpark
          知識共有者

          ありがとうございます。頑張ってください!

      ¥12,346

      haesunparkの他の講座

      知識共有者の他の講座を見てみましょう!

      似ている講座

      同じ分野の他の講座を見てみましょう!