実装しながら学ぶTransformer

Multi Head Attentionから始まり、Original Transformerモデル、BERT、Encoder-DecoderベースのMarianMT翻訳モデル、Vision Transformerまで、コードで直接実装しながらTransformerについて隅々まで学ぶことができます。

難易度 中級以上

受講期間 無制限

Deep Learning(DL)
Deep Learning(DL)
PyTorch
PyTorch
encoder-decoder
encoder-decoder
bert
bert
transformer
transformer
Deep Learning(DL)
Deep Learning(DL)
PyTorch
PyTorch
encoder-decoder
encoder-decoder
bert
bert
transformer
transformer

学習した受講者のレビュー

5.0

5.0

jsmak

100% 受講後に作成

いくつかのトランスフォーマーのオンライン講義を受講してきましたが、一番詳しいです。いつも丁寧すぎるほどの解説をありがとうございます。

5.0

jcy4023

100% 受講後に作成

いつも良い講義をありがとうございます!

5.0

HeeSeok Jeong

26% 受講後に作成

様々なトランスフォーマー講義を受講しましたが、本当にこの講義が最高です。 論文レビューだけをするのとは違い、コードとPPTに講師の直感的な説明が溶け込んでいます。コードと一緒に見ると理解がすんなりできます。 今後、他の講義も信じて受講申請する予定です。 本当に指折りのレジェンド講義です。

受講後に得られること

  • 直接実装しながら体得するTransformerのSelf、Causal、Cross Attentionメカニズム

  • Positional Encoding、Feed Forward、Encoder、Decoder等を直接実装しながら学ぶOriginal Transformerモデルアーキテクチャ

  • トークン化、埋め込みのNLP基盤とRNNモデルなどTransformerのための事前基盤知識

  • BERTモデルを直接実装し、実装されたBERTで文章分類学習を適用

  • 直接実装するEncoder-Decoder翻訳モデルであるMarianMTモデル

  • Hugging Face Dataset、Tokenizer、そしてDataCollatorの理解と活用

  • Encoder-Decoder MarianMT モデルの学習およびGreedyとBeam Search Inference

  • Vision Transformer(ViT)を直接実装し、Customデータで画像判別モデル学習

この講義一つでTransformer完全制覇!

本講義で最新AIの核心、Transformerを直接実装しながら学ぶことができます。

Transformerの核心メカニズムであるMulti-Head AttentionからOriginal Transformerモデル、BERTモデル、Encoder-Decoder MarianMT翻訳モデル、Vision Transformerまで、コードで実装しながら理解するTransformerフルコースで講義を構成いたしました。

この講義の特徴

[[SPAN_1]]💡 [[/SPAN_1]][[SPAN_2]]바닥부터 코드로 구현하며 배우는 Transformer[[/SPAN_2]]

Transformerの核心メカニズムであるMulti Head AttentionからOriginal TransformerモデルおよびBERT、Encoder-Decoder翻訳モデルであるMarianMTモデルまでコードで直接実装しながらTransformerについて詳細に学ぶことができます。

💡 NLP基礎からTransformerコアモデルまで段階的学習

Transformerを理解するには、まずNLPの基礎を理解することが重要です。

トークン化と埋め込み、そしてTransformer以前のRNNモデルから出発して、Attention -> Transformer -> BERT -> MarianMT翻訳モデル -> Vision Transformerまで一つの流れで講義を構成し、堅実なNLP基盤からTransformerコアモデルまで段階的に学習することができます。

💡 理論と実装のバランス

実装だけに集中しません。Transformerを構成する核心メカニズムが頭にすっきりと、簡単に理解できるように、多くの時間をかけてアイデアを構想し、講義を作りました。簡単で詳細な理論説明から実際のコード実装まで続く講義で、皆さんのTransformer応用実力を飛躍的に向上させて差し上げます。

💡 NLP核心問題解決プロセスの提示

埋め込み、パディング(Padding)マスキング、様々なタイプのAttention、パディングが適用されたLabelのLoss計算、動的(Dynamic)パディングなど実際の研究・実務で直面する要素を具体的に扱い、これらの解決過程を提示いたします。


💡 Hugging Face主要ライブラリの活用

Hugging FaceはTransformerの活用において必要不可欠なライブラリです。本講義では、Hugging FaceのTokenizer、Dataset、DataCollatorなどを活用して、Transformerモデル学習のためのデータ前処理、トークン化、動的パディング、Label値およびDecoder入力値変換などのデータ加工をどのように簡単で便利に処理するかを詳しくガイドいたします。

こんな内容を学びます

TransformerのためのNLP基礎とRNN

トークン化、埋め込み、RNNおよびSeq2Seqモデル、そしてAttentionの基礎など、Transformerを習得するための事前知識を要約して説明いたします。

Transformerの核心メカニズムと主要モジュール

Self Attention、Causal Attention、Cross Attentionなどの核心的なAttentionメカニズムと、Positional Encoding、Layer Normalization、Feed Forward、Encoder/Decoder Layerなど、Transformerの核心モジュールを詳細な理論と実習を通じて明確に理解していただけます。

Hugging Face Tokenizer、Dataset、DataCollatorの活用

Hugging FaceのDataset、Tokenizer、DataCollatorの特徴、利点、そして使用方法を詳しく説明いたします。そして、これらを組み合わせてTransformer NLPモデルのためのデータPipeline処理作業をどのように効果的に実行できるかを、様々な実習と例題を通じて体得していただけます。

BERTモデルの実装と活用

BERTモデルの主要構成要素を直接実装しながらBERTを学習します。さらに、このように実装したBERTとHugging Faceが提供する様々な機能を利用して、文章分類のためのモデル学習およびInferenceを適用する方法を学ぶことができます。

Encoder-Decoderベースの MarianMT 翻訳モデルの実装と活用

Encoder-Decoderベースのハングル-英語翻訳モデルであるMarianMTモデルを直接実装し、Encoder-Decoderモデル学習時に必要な様々なデータ前処理方式と技法を学び、Auto RegressiveベースのGreedy SearchとBeam Searchの実装と適用方法を学びます。

Vision Transformerモデルの実装と学習

Vision領域でTransformerをCNNに匹敵するモデルとして確立させたVision Transformerを直接実装し、カスタムデータセットを用いて学習してみます。Vision Transformerの主要モジュールを直接実装してみながら、ViTの特徴とメカニズムを簡単に理解しながら学ぶことができます。

受講前の参考事項

実習環境💾

実習環境はKaggleが提供するnotebookカーネルで実行します。Kaggleに登録後、Codeメニューを選択すると、Colabと類似したJupyter Notebook環境ベースでP100 GPUを週30時間無料で使用できます。


160ページ分の講義教材が一緒に提供されます。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • トークン化からRNN、Transformerをコードで直接実装しながら基礎をしっかり固めたいディープラーニングNLP入門者

  • 単純にTransformerライブラリを使うのではなく、内部メカニズムを直接実装してみながらTransformer構造を深く理解したい方

  • 理論と実践のバランスの取れた方式でTransformerの核心メカニズムをより簡単に理解したい方

  • AIサービス開発時にAttentionやTransformerの基礎能力を確実に培うことを望む開発者

  • Transformerの基礎からテキスト分類、翻訳モデルまで完成度の高いEnd-to-End実戦プロジェクト経験を求める方

前提知識、
必要でしょうか?

  • ディープラーニングCNN完璧ガイド - Pytorch版

こんにちは
dooleyz3525です。

27,984

受講生

1,513

受講レビュー

4,070

回答

4.9

講座評価

15

講座

(元) エンコアコンサルティング | (元) 日本オラクル | 『Python機械学習完璧ガイド』著者

AIフリーランスコンサルタント

 

カリキュラム

全体

145件 ∙ (28時間 9分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

18件

5.0

18件の受講レビュー

  • jsmak6174님의 프로필 이미지
    jsmak6174

    受講レビュー 8

    平均評価 5.0

    5

    100% 受講後に作成

    いくつかのトランスフォーマーのオンライン講義を受講してきましたが、一番詳しいです。いつも丁寧すぎるほどの解説をありがとうございます。

    • dooleyz3525
      知識共有者

      おお、素晴らしい受講評をいただきありがとうございます。Transformerを初めて接する方には難しいかもしれないと思い、少し説明が過剰になってしまった部分がありましたね。次の講義を作る際の参考にさせていただきます。

  • vjeong71170433님의 프로필 이미지
    vjeong71170433

    受講レビュー 14

    平均評価 3.9

    5

    26% 受講後に作成

    様々なトランスフォーマー講義を受講しましたが、本当にこの講義が最高です。 論文レビューだけをするのとは違い、コードとPPTに講師の直感的な説明が溶け込んでいます。コードと一緒に見ると理解がすんなりできます。 今後、他の講義も信じて受講申請する予定です。 本当に指折りのレジェンド講義です。

    • dooleyz3525
      知識共有者

      おお、胸がいっぱいになりますね。今日一日とても幸せになりそうです。素敵な受講レビューを書いてくださってありがとうございます。

  • ugowego16567님의 프로필 이미지
    ugowego16567

    受講レビュー 1

    平均評価 5.0

    5

    30% 受講後に作成

    分かりやすく上手に説明してくださいます。

    • dooleyz3525
      知識共有者

      お時間を割いて、このような良い受講レビューを書いていただき、ありがとうございます。

  • jcy40236396님의 프로필 이미지
    jcy40236396

    受講レビュー 6

    平均評価 5.0

    5

    100% 受講後に作成

    いつも良い講義をありがとうございます!

    • dooleyz3525
      知識共有者

      とんでもございません^^。素敵な受講レビューを書いてくださり、こちらこそありがとうございます。

  • arachnephobi0028님의 프로필 이미지
    arachnephobi0028

    受講レビュー 2

    平均評価 5.0

    5

    60% 受講後に作成

    dooleyz3525の他の講座

    知識共有者の他の講座を見てみましょう!

    似ている講座

    同じ分野の他の講座を見てみましょう!