inflearn logo
知識共有
inflearn logo

<밑바닥부터 만들면서 배우는 LLM> 解説講義

『ゼロから作って学ぶLLM』(ギルボット、2025)のGitHubノートブックとボーナスコンテンツを扱う講義です。GitHub: https://github.com/rickiepark/llm-from-scratch/ 『ゼロから作って学ぶLLM』は、セバスチャン・ラシュカ(Sebastian Raschka)が書いたベストセラー『Build a Large Language Model (from Scratch)』(Manning、2024)の翻訳書です。この本は、OpenAIが作ったGPT-2モデルをゼロから始めて完全なモデルを作ってみながら、大規模言語モデルの動作原理を学び活用する方法を提供します。

難易度 初級

受講期間 無制限

PyTorch
PyTorch
gpt-2
gpt-2
transformer
transformer
LLM
LLM
Fine-Tuning
Fine-Tuning
PyTorch
PyTorch
gpt-2
gpt-2
transformer
transformer
LLM
LLM
Fine-Tuning
Fine-Tuning

学習した受講者のレビュー

学習した受講者のレビュー

4.8

5.0

Park Ju Yeong

100% 受講後に作成

以下の順序でスタディしました。 チャレンジ講義受講 - 書籍読書 - ソース解説講義受講 大規模言語モデル核心だけ素早くに続けていきます。

5.0

김진철

14% 受講後に作成

一生懸命に.....😊😊

5.0

든든한꼬마

65% 受講後に作成

良い講義ありがとうございます。

受講後に得られること

  • ゼロから始めて完全なLLMを直接コードで実装します。

  • トランスフォーマーとアテンションをはじめ、LLMを構成する核心コンポーネントを学びます。

  • GPTと類似したLLMを事前訓練する方法を学びます。

  • 分類のためにLLMをファインチューニングする方法を学びます。

  • 人間の指示に従って応答するようにLLMをファインチューニングする方法を学びます。

この講義は<ゼロから作って学ぶLLM>と一緒に提供される例題コードを説明します。GitHubリポジトリ(https://github.com/rickiepark/llm-from-scratch/)には本に収録された例題コードはもちろん、様々な付加資料も一緒に含まれています。このような付加コンテンツについての説明も一緒に提供されます。

この講義は本を購入しなくても誰でも受講できます。しかし、本と一緒に受講する時が最も効果的です。一部のコード説明は本と一緒に見なければ理解が困難な場合があります。必要な前提知識はPythonプログラミングです。ディープラーニングとPyTorchを使用したことがあれば役立ちます。もしこの二つの概念を初めて接するなら、付録Aを先に読んでみてください。

ゼロから作って学ぶLLMの内容を扱う講義はYouTubeで無料で見ることができます。正誤表は翻訳者のブログを参考にしてください。

書籍紹介

一行一行コードを追っていくと、自分だけのGPTが完成する!
GPTをゼロから実装してLLMの原理を指先で体得する実戦ガイド

難しい概念は図で解き、LLMは直接作りながら学ぶ。この本は大規模言語モデルの構造と動作原理を最初から最後まで直接実装しながら学習できる実戦型LLM入門書だ。単純に概念を説明するだけにとどまらず、テキスト前処理とトークン化、埋め込み過程を出発点として、セルフアテンションとマルチヘッドアテンション、トランスフォーマーブロックを着実に構築していく。続いて、これらの構成要素を統合して実際のGPTモデルを完成させ、モデルのパラメータ数と訓練安定化技法、活性化関数と正規化方法など最新アーキテクチャ設計の核心要素を直接扱ってみる。また、事前学習と微調整過程を深く案内する。ラベルなしデータで事前訓練を進行し、テキスト分類のようなダウンストリームタスクに合わせてモデルをチューニングし、最近注目を集める指示ベース学習技法まで実習できる。LoRAベースのパラメータ効率的微調整(PEFT)のような最新内容も含めて、LLMを実際のサービスと研究に接続できる方法まで幅広く提示する。すべての概念はPyTorchコードで実装されており、一般的なノートブック環境でも実習できるよう最適化した。この本の実装過程を辿っていけば、LLM内部でどんなことが起こるのかを自然に理解し、大規模言語モデルのメカニズムがどのように動作するのかを手先で体得することになるだろう。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • 大規模言語モデル(LLM)の動作原理を詳細に把握したい方

  • PyTorchとtransformersパッケージを使ってLLMを事前訓練し、ファインチューニングしたい方

  • OpenAIのGPT-2モデルの構造を知りたい方

  • 何でも直接作ってみないと気が済まない方!

前提知識、
必要でしょうか?

  • Pythonプログラミングに関する基礎知識が必要です。

こんにちは
haesunparkです。

22,784

受講生

395

受講レビュー

131

回答

4.9

講座評価

10

講座

機械工学を専攻しましたが、卒業後は一貫してコードを読み書きする仕事をしてきました。Google AI/Cloud GDE、Microsoft AI MVPです。TensorFlowブログ(tensorflow.blog)を運営しており、機械学習やディープラーニングに関する本を執筆・翻訳しながら、ソフトウェアと科学の境界を興味深く探求しています。

 

ml-dl-book-roadmap.png.webp

 

『独学で作って学ぶディープラーニング』(ハンビッメディア、2025)、『独学で学ぶ機械学習+ディープラーニング(改訂版)』(ハンビッメディア、2025)、『独学で学ぶデータ分析 with Python』(ハンビッメディア、2023)、『ChatGPTで対話する技術』(ハンビッメディア、2023)、『Do it! ディープラーニング入門』(イージスパブリッシング、2019)を執筆しました。

 

『大規模言語モデル、核心を素早く!』(インサイト、2025)、『機械学習、核心を素早く!』(インサイト、2025)、『ゼロから作りながら学ぶLLM』(キルボッ、2025)、『ハンズオンLLM』(ハンビッメディア、2025)、『機械学習 Q & AI』(キルボッ、2025)、『開発者のための数学』(ハンビッメディア、2024)、『実務で通じるML問題解決 with Python』(ハンビッメディア、2024)、『機械学習教科書:PyTorch編』(キルボッ、2023)、『スティーブン・ウルフラムのChatGPT講義』(ハンビッメディア、2023)、『ハンズオン機械学習 第3版』(ハンビッメディア、2023)、『作りながら学ぶ生成ディープラーニング 第2版』(ハンビッメディア、2023)、『コーディング脳を呼び覚ますPython』(ハンビッメディア、2023)、『トランスフォーマーを活用した自然言語処理』(ハンビッメディア、2022)、『Kerasの創始者に学ぶディープラーニング 第2版』(キルボッ、2022)、『開発者のための機械学習&ディープラーニング』(ハンビッメディア、2022)、『XGBoostとScikit-learnを活用したグラディエント・ブースティング』(ハンビッメディア、2022)、『Google Brainチームに学ぶディープラーニング with TensorFlow.js』(キルボッ、2022)、『(改訂第2版)Pythonライブラリを活用した機械学習』(ハンビッメディア、2022)を含め、数十冊の本を韓国語に翻訳しました。

もっと見る

カリキュラム

全体

79件 ∙ (15時間 24分)

講座掲載日: 
最終更新日: 

受講レビュー

全体

22件

4.8

22件の受講レビュー

  • 7000cj님의 프로필 이미지
    7000cj

    受講レビュー 137

    平均評価 5.0

    5

    8% 受講後に作成

    • redinblue6136님의 프로필 이미지
      redinblue6136

      受講レビュー 4

      平均評価 5.0

      5

      100% 受講後に作成

      以下の順序でスタディしました。 チャレンジ講義受講 - 書籍読書 - ソース解説講義受講 大規模言語モデル核心だけ素早くに続けていきます。

      • haesunpark
        知識共有者

        ありがとうございます。頑張ってください!

    • jchkim55님의 프로필 이미지
      jchkim55

      受講レビュー 2

      平均評価 5.0

      5

      14% 受講後に作成

      一生懸命に.....😊😊

      • haesunpark
        知識共有者

        ファイティングです!:)

    • 85artihoya님의 프로필 이미지
      85artihoya

      受講レビュー 1

      平均評価 5.0

      5

      30% 受講後に作成

      • calculator님의 프로필 이미지
        calculator

        受講レビュー 143

        平均評価 4.8

        5

        65% 受講後に作成

        良い講義ありがとうございます。

        • haesunpark
          知識共有者

          ありがとうございます!😊

      haesunparkの他の講座

      知識共有者の他の講座を見てみましょう!

      似ている講座

      同じ分野の他の講座を見てみましょう!

      ¥12,669