実装しながら学ぶTransformer

Multi Head AttentionからOriginal Transformerモデル、BERT、Encoder-DecoderベースのMarianMT翻訳モデル、Vision Transformerまで、コードで直接実装しながらTransformerについて隅々まで学ぶことになります。

難易度 中級以上

受講期間 無制限

Deep Learning(DL)
Deep Learning(DL)
PyTorch
PyTorch
encoder-decoder
encoder-decoder
bert
bert
transformer
transformer
Deep Learning(DL)
Deep Learning(DL)
PyTorch
PyTorch
encoder-decoder
encoder-decoder
bert
bert
transformer
transformer

学習した受講者のレビュー

5.0

5.0

김재준

100% 受講後に作成

先修科目を履修せずに、いきなり受講しました。 最初は難しくて大変でしたが、だんだん聞き進めるうちに楽しくなり、今は先修科目を受けに行こうと思っています。

5.0

승훈

60% 受講後に作成

コードと理論の説明のおかげで、Transformerについて詳しく理解できています。

5.0

jsmak

100% 受講後に作成

いくつかのトランスフォーマーのオンライン講義を受講してきましたが、一番詳しいです。いつも丁寧すぎるほどの解説をありがとうございます。

受講後に得られること

  • 直接実装しながら身につけるTransformerのSelf, Causal, Cross Attentionメカニズム

  • Positional Encoding、Feed Forward、Encoder、Decoderなどを直接実装しながら学ぶOriginal Transformerモデルアーキテクチャ

  • トークン化、埋め込みといったNLPの基礎やRNNモデルなど、Transformerのための事前知識

  • BERTモデルを直接実装し、実装したBERTで文章分類学習を適用

  • 直接実装するEncoder-Decoder翻訳モデルであるMarianMTモデル

  • Hugging Face Dataset、Tokenizer、および DataCollator の理解と活用

  • Encoder-Decoder MarianMTモデルの学習およびGreedyとBeam Search推論

  • Vision Transformer(ViT)を直接実装し、カスタムデータで画像判別モデルを学習

この講義一つでTransformerを完全攻略!

本講義で、最新AIの核心であるTransformerを直接実装しながら学ぶことができます。

Transformerの核となるメカニズムであるMulti-Head Attentionから、Original Transformerモデル、BERTモデル、Encoder-Decoder MarianMT翻訳モデル、Vision Transformerまで、コードで実装しながら理解するTransformerフルコースとして講義を構成しました。

この講義の特徴

💡 ゼロからコードで実装しながら学ぶTransformer

Transformerの核心メカニズムであるMulti Head Attentionから、Original TransformerモデルおよびBERT、Encoder-Decoder翻訳モデルであるMarianMTモデルまでコードで直接実装しながらTransformerについて詳しく学ぶことになります。

💡 NLPの基礎からTransformerの核心モデルまで段階的に学習

Transformerを理解するには、NLPの基礎をまず理解することが重要です。

トークン化と埋め込み、そしてTransformer以前のRNNモデルから出発し、Attention -> Transformer -> BERT -> MarianMT翻訳モデル -> Vision Transformerまでを一つの流れで講義を構成しており、確かなNLPの基盤からTransformerの核心モデルまで段階的に学習が可能です。

💡 理論と実装のバランス

実装だけに集中するのではありません。Transformerを構成する核心的なメカニズムが 頭にすっと入り、簡単に理解できるように、多くの時間をかけてアイデアを構想し、講義を作りました。分かりやすく詳細な理論説明から実際のコード実装までつながる講義で、皆さんのTransformer応用力を飛躍的に向上させます。

💡 NLPの核心的な問題解決プロセスの提示

エンベディング、パディング(Padding)マスキング、様々なタイプのAttention、パディングが適用されたLabelのLoss計算、動的(Dynamic)パディングなど、実際の研究/実務で直面する要素を具体的に扱い、その解決過程を提示します。


💡 Hugging Face主要ライブラリの活用

Hugging Faceは、Transformerの活用において不可欠なライブラリです。本講義では、Hugging FaceのTokenizer、Dataset、DataCollatorなどを活用し、Transformerモデル学習のためのデータ前処理、トークン化、動的パディング、ラベル値およびデコーダ入力値の変換などのデータ加工を いかに簡単かつ便利に 処理するかを詳細にガイドします。

このような内容を学びます

Transformerの事前知識のためのNLPの基礎とRNN

トークン化、エンベディング、RNNおよびSeq2Seqモデル、そしてAttentionの基礎など、Transformerを習得するための事前知識を要約して解説します。

Transformerの核心メカニズムと主要モジュール

Self Attention、Causal Attention、Cross Attention などの主要なアテンションメカニズムと、Positional Encoding、Layer Normalization、Feed Forward、Encoder/Decoder Layer など、Transformer の主要モジュールを、詳細な理論と実習を通じて明確に理解することができます。

Hugging Face Tokenizer, Dataset, DataCollatorの活用

Hugging FaceのDataset、Tokenizer、DataCollatorの特徴、メリット、そして使用方法を詳しく解説します。そして、これらを組み合わせてTransformer NLPモデルのためのデータパイプライン処理をどのように効果的に行えるか、多様な実習と例題を通じて習得していただけます。

BERTモデルの実装と活用

BERTモデルの主要構成要素を直接実装しながらBERTを習得します。それだけでなく、このように実装したBERTとHugging Faceで提供される多様な機能を利用して、文章分類のためのモデル学習および Inference を適用する方法を学ぶことができます。

Encoder-DecoderベースのMarianMT翻訳モデルの実装と活用

Encoder-Decoderベースの韓国語-英語翻訳モデルであるMarianMTモデルを直接実装し、Encoder-Decoderモデルの学習に必要な様々なデータ前処理方式と技法を学び、Auto RegressiveベースのGreedy SearchとBeam Searchの実装および適用方法を学びます。

Vision Transformerモデルの実装と学習

ビジョン領域でTransformerをCNNに匹敵するモデルとして定着させたVision Transformerを直接実装し、カスタムデータセットを利用して学習してみます。Vision Transformerの主要モジュールを直接実装しながら、ViTの特徴とメカニズムを簡単に理解しながら学ぶことができます。

受講前の注意事項

実習環境 💾

実習環境はKaggleが提供するnotebookカーネルで行います。Kaggleに登録した後、Codeメニューを選択すると、Colabと似たJupyter Notebook環境ベースでP100 GPUを週に30時間無料でご利用いただけます。


160ページ分の講義教材が提供されます。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • トークン化からRNN、Transformerをコードで直接実装しながら、基礎をしっかりと固めたいディープラーニングNLP入門者

  • 単にTransformerライブラリを使うのではなく、内部メカニズムを直接実装しながら、Transformerの構造を深く理解したい方

  • 理論と実践のバランスの取れたアプローチで、Transformerの核心メカニズムをより分かりやすく理解したい方

  • AIサービスの開発において、AttentionやTransformerの基礎能力をしっかりと身につけたいと考えている開発者

  • Transformerの基礎からテキスト分類、翻訳モデルまで、完成度の高いEnd-to-Endの実践プロジェクト経験を求める方

前提知識、
必要でしょうか?

  • ディープラーニング CNN 完全ガイド - PyTorch版

こんにちは
dooleyz3525です。

インフラン認証

28,457

受講生

1,576

受講レビュー

4,085

回答

4.9

講座評価

15

講座

(元) エンコアコンサルティング | (元) 日本オラクル | 『Python機械学習完璧ガイド』著者

AIフリーランスコンサルタント

 

カリキュラム

全体

145件 ∙ (28時間 9分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

24件

5.0

24件の受講レビュー

  • seunghun32461674님의 프로필 이미지
    seunghun32461674

    受講レビュー 2

    平均評価 5.0

    5

    60% 受講後に作成

    コードと理論の説明のおかげで、Transformerについて詳しく理解できています。

    • dooleyz3525
      知識共有者

      お役に立てて私も嬉しいです。素敵な受講評までいただき、本当にありがとうございます。

  • vjeong71170433님의 프로필 이미지
    vjeong71170433

    受講レビュー 14

    平均評価 3.9

    5

    26% 受講後に作成

    様々なトランスフォーマー講義を受講しましたが、本当にこの講義が最高です。 論文レビューだけをするのとは違い、コードとPPTに講師の直感的な説明が溶け込んでいます。コードと一緒に見ると理解がすんなりできます。 今後、他の講義も信じて受講申請する予定です。 本当に指折りのレジェンド講義です。

    • dooleyz3525
      知識共有者

      おお、胸がいっぱいになりますね。今日一日とても幸せになりそうです。素敵な受講レビューを書いてくださってありがとうございます。

  • jsmak6174님의 프로필 이미지
    jsmak6174

    受講レビュー 9

    平均評価 5.0

    5

    100% 受講後に作成

    いくつかのトランスフォーマーのオンライン講義を受講してきましたが、一番詳しいです。いつも丁寧すぎるほどの解説をありがとうございます。

    • dooleyz3525
      知識共有者

      おお、素晴らしい受講評をいただきありがとうございます。Transformerを初めて接する方には難しいかもしれないと思い、少し説明が過剰になってしまった部分がありましたね。次の講義を作る際の参考にさせていただきます。

  • jcy40236396님의 프로필 이미지
    jcy40236396

    受講レビュー 7

    平均評価 5.0

    5

    100% 受講後に作成

    いつも良い講義をありがとうございます!

    • dooleyz3525
      知識共有者

      とんでもございません^^。素敵な受講レビューを書いてくださり、こちらこそありがとうございます。

  • muscelelg님의 프로필 이미지
    muscelelg

    受講レビュー 8

    平均評価 5.0

    5

    100% 受講後に作成

    先修科目を履修せずに、いきなり受講しました。 最初は難しくて大変でしたが、だんだん聞き進めるうちに楽しくなり、今は先修科目を受けに行こうと思っています。

    dooleyz3525の他の講座

    知識共有者の他の講座を見てみましょう!

    似ている講座

    同じ分野の他の講座を見てみましょう!