강의

멘토링

커뮤니티

AI Technology

/

Natural Language Processing

実装しながら学ぶTransformer

Multi Head Attentionから始まり、Original Transformerモデル、BERT、Encoder-DecoderベースのMarianMT翻訳モデル、Vision Transformerまで、コードで直接実装しながらTransformerについて隅々まで学ぶことができます。

  • dooleyz3525
이론 실습 모두
transformer
NLP
바닥부터구현
Deep Learning(DL)
PyTorch
encoder-decoder
bert

受講後に得られること

  • 直接実装しながら体得するTransformerのSelf、Causal、Cross Attentionメカニズム

  • Positional Encoding、Feed Forward、Encoder、Decoder等を直接実装しながら学ぶOriginal Transformerモデルアーキテクチャ

  • トークン化、埋め込みのNLP基盤とRNNモデルなどTransformerのための事前基盤知識

  • BERTモデルを直接実装し、実装されたBERTで文章分類学習を適用

  • 直接実装するEncoder-Decoder翻訳モデルであるMarianMTモデル

  • Hugging Face Dataset、Tokenizer、そしてDataCollatorの理解と活用

  • Encoder-Decoder MarianMT モデルの学習およびGreedyとBeam Search Inference

  • Vision Transformer(ViT)を直接実装し、Customデータで画像判別モデル学習

この講義一つでTransformer完全制覇!

本講義で最新AIの核心、Transformerを直接実装しながら学ぶことができます。

Transformerの核心メカニズムであるMulti-Head AttentionからOriginal Transformerモデル、BERTモデル、Encoder-Decoder MarianMT翻訳モデル、Vision Transformerまで、コードで実装しながら理解するTransformerフルコースで講義を構成いたしました。

この講義の特徴

[[SPAN_1]]💡 [[/SPAN_1]][[SPAN_2]]바닥부터 코드로 구현하며 배우는 Transformer[[/SPAN_2]]

Transformerの核心メカニズムであるMulti Head AttentionからOriginal TransformerモデルおよびBERT、Encoder-Decoder翻訳モデルであるMarianMTモデルまでコードで直接実装しながらTransformerについて詳細に学ぶことができます。

💡 NLP基礎からTransformerコアモデルまで段階的学習

Transformerを理解するには、まずNLPの基礎を理解することが重要です。

トークン化と埋め込み、そしてTransformer以前のRNNモデルから出発して、Attention -> Transformer -> BERT -> MarianMT翻訳モデル -> Vision Transformerまで一つの流れで講義を構成し、堅実なNLP基盤からTransformerコアモデルまで段階的に学習することができます。

💡 理論と実装のバランス

実装だけに集中しません。Transformerを構成する核心メカニズムが頭にすっきりと、簡単に理解できるように、多くの時間をかけてアイデアを構想し、講義を作りました。簡単で詳細な理論説明から実際のコード実装まで続く講義で、皆さんのTransformer応用実力を飛躍的に向上させて差し上げます。

💡 NLP核心問題解決プロセスの提示

埋め込み、パディング(Padding)マスキング、様々なタイプのAttention、パディングが適用されたLabelのLoss計算、動的(Dynamic)パディングなど実際の研究・実務で直面する要素を具体的に扱い、これらの解決過程を提示いたします。


💡 Hugging Face主要ライブラリの活用

Hugging FaceはTransformerの活用において必要不可欠なライブラリです。本講義では、Hugging FaceのTokenizer、Dataset、DataCollatorなどを活用して、Transformerモデル学習のためのデータ前処理、トークン化、動的パディング、Label値およびDecoder入力値変換などのデータ加工をどのように簡単で便利に処理するかを詳しくガイドいたします。

こんな内容を学びます

TransformerのためのNLP基礎とRNN

トークン化、埋め込み、RNNおよびSeq2Seqモデル、そしてAttentionの基礎など、Transformerを習得するための事前知識を要約して説明いたします。

Transformerの核心メカニズムと主要モジュール

Self Attention、Causal Attention、Cross Attentionなどの核心的なAttentionメカニズムと、Positional Encoding、Layer Normalization、Feed Forward、Encoder/Decoder Layerなど、Transformerの核心モジュールを詳細な理論と実習を通じて明確に理解していただけます。

Hugging Face Tokenizer、Dataset、DataCollatorの活用

Hugging FaceのDataset、Tokenizer、DataCollatorの特徴、利点、そして使用方法を詳しく説明いたします。そして、これらを組み合わせてTransformer NLPモデルのためのデータPipeline処理作業をどのように効果的に実行できるかを、様々な実習と例題を通じて体得していただけます。

BERTモデルの実装と活用

BERTモデルの主要構成要素を直接実装しながらBERTを学習します。さらに、このように実装したBERTとHugging Faceが提供する様々な機能を利用して、文章分類のためのモデル学習およびInferenceを適用する方法を学ぶことができます。

Encoder-Decoderベースの MarianMT 翻訳モデルの実装と活用

Encoder-Decoderベースのハングル-英語翻訳モデルであるMarianMTモデルを直接実装し、Encoder-Decoderモデル学習時に必要な様々なデータ前処理方式と技法を学び、Auto RegressiveベースのGreedy SearchとBeam Searchの実装と適用方法を学びます。

Vision Transformerモデルの実装と学習

Vision領域でTransformerをCNNに匹敵するモデルとして確立させたVision Transformerを直接実装し、カスタムデータセットを用いて学習してみます。Vision Transformerの主要モジュールを直接実装してみながら、ViTの特徴とメカニズムを簡単に理解しながら学ぶことができます。

受講前の参考事項

実習環境💾

実習環境はKaggleが提供するnotebookカーネルで実行します。Kaggleに登録後、Codeメニューを選択すると、Colabと類似したJupyter Notebook環境ベースでP100 GPUを週30時間無料で使用できます。


160ページ分の講義教材が一緒に提供されます。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • トークン化からRNN、Transformerをコードで直接実装しながら基礎をしっかり固めたいディープラーニングNLP入門者

  • 単純にTransformerライブラリを使うのではなく、内部メカニズムを直接実装してみながらTransformer構造を深く理解したい方

  • 理論と実践のバランスの取れた方式でTransformerの核心メカニズムをより簡単に理解したい方

  • AIサービス開発時にAttentionやTransformerの基礎能力を確実に培うことを望む開発者

  • Transformerの基礎からテキスト分類、翻訳モデルまで完成度の高いEnd-to-End実戦プロジェクト経験を求める方

前提知識、
必要でしょうか?

  • ディープラーニングCNN完璧ガイド - Pytorch版

こんにちは
です。

26,951

受講生

1,371

受講レビュー

4,011

回答

4.9

講座評価

14

講座

(전) 엔코아 컨설팅

(전) 한국 오라클

AI 프리랜서 컨설턴트

파이썬 머신러닝 완벽 가이드 저자

カリキュラム

全体

145件 ∙ (28時間 9分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

6件

5.0

6件の受講レビュー

  • aboutexo046263님의 프로필 이미지
    aboutexo046263

    受講レビュー 13

    平均評価 4.8

    5

    60% 受講後に作成

    • ugowego16567님의 프로필 이미지
      ugowego16567

      受講レビュー 1

      平均評価 5.0

      5

      30% 受講後に作成

      分かりやすく上手に説明してくださいます。

      • dooleyz3525
        知識共有者

        お時間を割いて、このような良い受講レビューを書いていただき、ありがとうございます。

    • wannabmc님의 프로필 이미지
      wannabmc

      受講レビュー 8

      平均評価 5.0

      5

      30% 受講後に作成

      • dooleyz3525
        知識共有者

        良いレビューをありがとうございます。

    • shinedngus225님의 프로필 이미지
      shinedngus225

      受講レビュー 2

      平均評価 5.0

      5

      7% 受講後に作成

      • dooleyz3525
        知識共有者

        良い受講レビューをありがとうございます ^*^

    • jaeuk님의 프로필 이미지
      jaeuk

      受講レビュー 5

      平均評価 5.0

      5

      31% 受講後に作成

      • dooleyz3525
        知識共有者

        良いレビューをありがとうございます ^^

    ¥9,528

    dooleyz3525の他の講座

    知識共有者の他の講座を見てみましょう!

    似ている講座

    同じ分野の他の講座を見てみましょう!