inflearn logo
知識共有
inflearn logo

「ゼロから作りながら学ぶLLM」解説講義

<ゼロから作りながら学ぶLLM>(ギルバート、2025)のGitHubノートブックとボーナスコンテンツを扱う講義です。GitHub: https://github.com/rickiepark/llm-from-scratch/ <ゼロから作りながら学ぶLLM>は、セバスチャン・ラシカ(Sebastian Raschka)が執筆したベストセラー<Build a Large Langauge Model (from Scratch)>(Manning、2024)の翻訳書です。本書では、OpenAIが開発したGPT-2モデルをゼロから始めて完全なモデルを作りながら、大規模言語モデルの仕組みを学び、活用する方法を提供します。

難易度 初級

受講期間 無制限

PyTorch
PyTorch
gpt-2
gpt-2
transformer
transformer
LLM
LLM
Fine-Tuning
Fine-Tuning
PyTorch
PyTorch
gpt-2
gpt-2
transformer
transformer
LLM
LLM
Fine-Tuning
Fine-Tuning

学習した受講者のレビュー

4.8

5.0

Park Ju Yeong

100% 受講後に作成

以下の順序でスタディしました。 チャレンジ講義受講 - 書籍読書 - ソース解説講義受講 大規模言語モデル核心だけ素早くに続けていきます。

5.0

김진철

14% 受講後に作成

一生懸命に.....😊😊

5.0

든든한꼬마

65% 受講後に作成

良い講義ありがとうございます。

受講後に得られること

  • ゼロから始めて、完全なLLMを自分でコード実装します。

  • トランスフォーマーやアテンションをはじめとする、LLMを構成する主要なコンポーネントを学びます。

  • GPTに類似したLLMを事前学習する方法を学びます。

  • 分類のためにLLMを微調整する方法を学びます。

  • 人の指示に従って応答するようにLLMをファインチューニングする方法を学びます。

割引のお知らせ

<Keras開発者によるディープラーニング 第3版>チャレンジ(https://inf.run/DPba3)に登録すると、この講義の50%割引クーポンをプレゼントします!


この講義では<ゼロから作りながら学ぶLLM>とともに提供されるサンプルコードを解説します。GitHubリポジトリ(https://github.com/rickiepark/llm-from-scratch/)には本に収録されたサンプルコードはもちろん、さまざまな関連資料も含まれています。こうした関連コンテンツについても併せて解説します。

この講義は、本を購入しなくても誰でも受講できます。しかし、本と一緒に学ぶと最も効果的です。一部のコードの説明は、本と併せて読まないと理解しにくい場合があります。必要な前提知識は、Pythonプログラミングです。ディープラーニングとPyTorchを使った経験があれば役立ちます。もしこの2つの概念に初めて触れるのであれば、まず付録Aを読んでください。

<ゼロから作りながら学ぶLLM>の内容を扱う講義はYouTubeで無料で視聴できます。エラータについては訳者のブログをご参照ください。

書籍紹介

一行一行コードを追っていけば、自分だけのGPTが完成する!
GPTをゼロから実装し、LLMの原理を手を動かしながら身につける実践ガイド

難しい概念は図解し、LLMは自分で作りながら学ぶ。本書は、大規模言語モデルの構造と動作原理を最初から最後まで自ら実装しながら学べる、実践的なLLM入門書だ。単に概念を説明するだけにとどまらず、テキストの前処理とトークン化、埋め込みの工程を出発点として、セルフアテンションとマルチヘッドアテンション、トランスフォーマーブロックを一つひとつ構築していく。続いて、これらの構成要素を統合して実際のGPTモデルを完成させ、モデルのパラメータ数や学習の安定化手法、活性化関数と正規化手法など、最新のアーキテクチャ設計における重要な要素を自ら扱っていく。また、事前学習とファインチューニングのプロセスについても深く解説する。ラベルのないデータで事前学習を行い、テキスト分類などの下流タスクに合わせてモデルをチューニングし、近年注目を集めている指示ベース学習の手法まで実習できる。LoRAをベースとしたパラメータ効率の高いファインチューニング(PEFT)などの最新トピックも取り上げ、LLMを実際のサービスや研究につなげる方法まで幅広く提示する。すべての概念はPyTorchコードで実装されており、一般的なノートPCの環境でも実習できるよう最適化されている。本書の実装プロセスに沿って学んでいけば、LLMの内部で何が起きているのかを自然に理解し、大規模言語モデルのメカニズムがどのように動作するのかを、手を動かしながら身につけられるだろう。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • 大規模言語モデル(LLM)の動作原理を詳しく理解したい方

  • PyTorchとtransformersパッケージを使用して、LLMの事前学習とファインチューニングを行いたい方

  • OpenAIのGPT-2モデルの構造を知りたい方

  • 何でも自分で作ってみないと気が済まない方!

前提知識、
必要でしょうか?

  • Pythonプログラミングに関する基礎知識が必要です。

こんにちは
haesunparkです。

24,067

受講生

484

受講レビュー

131

回答

4.9

講座評価

12

講座

機械工学を専攻しましたが、卒業後はずっとコードを読み書きする仕事をしてきました。Google AI/Cloud GDEです。TensorFlowブログ(tensorflow.blog)を運営しており、機械学習と深層学習に関する書籍を執筆・翻訳しながら、ソフトウェアと科学の境界を興味深く探究しています。

book-roadmap.jpg.webp

『ひとりで作りながら学ぶディープラーニング』(Hanbit Media、2025年)、『独学で学ぶ機械学習+ディープラーニング(改訂版)』(Hanbit Media、2025年)、『独学で学ぶデータ分析 with Python』(Hanbit Media、2023年)、『ChatGPTで対話する技術』(Hanbit Media、2023年)、『Do it! ディープラーニング入門』(イージスパブリッシング、2019年)を執筆しました。

『ハンズオン機械学習 with scikit-learn、PyTorch』(한빛미디어、2026)、 『Keras創始者に学ぶディープラーニング(第3版)』(길벗、2026)、 『LLMファインチューニング、要点だけを素早く!』(インサイト、2026)、『PyTorchで学ぶLLM & AI』(한빛미디어、2026)、『大規模言語モデル、要点だけを素早く!』(インサイト、2025)、『機械学習、要点だけを素早く!』(インサイト、2025)、『ゼロから作りながら学ぶLLM』(길벗、2025)、『ハンズオンLLM』(한빛미디어、2025)、『機械学習 Q & AI』(길벗、2025)、『開発者のための数学』(한빛미디어、2024)、『実務につながるML問題解決 with Python』(한빛미디어、2024)、『機械学習教科書:PyTorch編』(길벗、2023)、『スティーブン・ウルフラムのChatGPT講義』(한빛미디어、2023)、『ハンズオン機械学習 第3版』(한빛미디어、2023)、『作りながら学ぶ生成ディープラーニング 第2版』(한빛미디어、2023)、『コーディング脳を目覚めさせるPython』(한빛미디어、2023)、『トランスフォーマーを活用した自然言語処理』(한빛미디어、2022)、『Keras創始者に学ぶディープラーニング 第2版』(길벗、2022)、『開発者のための機械学習&ディープラーニング』(한빛미디어、2022)、『XGBoostとscikit-learnを活用したグラディエントブースティング』(한빛미디어、2022)、『Google Brainチームに学ぶディープラーニング with TensorFlow.js』(길벗、2022)、『(改訂第2版)Pythonライブラリを活用した機械学習』(한빛미디어、2022)を含め、数十冊に及ぶ書籍を韓国語に翻訳しました。

もっと見る

カリキュラム

全体

79件 ∙ (15時間 24分)

講座掲載日: 
最終更新日: 

受講レビュー

全体

26件

4.8

26件の受講レビュー

  • hunter108719님의 프로필 이미지
    hunter108719

    受講レビュー 15

    ∙

    平均評価 4.7

    5

    30% 受講後に作成

    講義がKindで分かりやすく解説して教えてくれます。

    • haesunpark
      知識共有者

      良い評価をいただき、ありがとうございます。ボーナスコンテンツもお楽しみに!

  • jchkim55님의 프로필 이미지
    jchkim55

    受講レビュー 2

    ∙

    平均評価 5.0

    5

    14% 受講後に作成

    一生懸命に.....😊😊

    • haesunpark
      知識共有者

      ファイティングです!:)

  • jsmak6174님의 프로필 이미지
    jsmak6174

    受講レビュー 9

    ∙

    平均評価 5.0

    5

    100% 受講後に作成

    最近読んだAI関連の本の中で断然最高の本でした。講義の説明もしてくださって頭にすっと入ってきました。ありがとうございます。

    • haesunpark
      知識共有者

      お役に立てて本当に良かったです。ありがとうございます! :)

  • redinblue6136님의 프로필 이미지
    redinblue6136

    受講レビュー 4

    ∙

    平均評価 5.0

    5

    100% 受講後に作成

    以下の順序でスタディしました。 チャレンジ講義受講 - 書籍読書 - ソース解説講義受講 大規模言語モデル核心だけ素早くに続けていきます。

    • haesunpark
      知識共有者

      ありがとうございます。頑張ってください!

  • calculator님의 프로필 이미지
    calculator

    受講レビュー 297

    ∙

    平均評価 4.9

    5

    65% 受講後に作成

    良い講義ありがとうございます。

    • haesunpark
      知識共有者

      ありがとうございます!😊

haesunparkの他の講座

知識共有者の他の講座はこちら

似ている講座

同じ分野の他の講座を見てみましょう!

新規会員登録で25%OFF

¥9,409

25%

¥12,549