강의

멘토링

로드맵

NEW
AI Development

/

Natural Language Processing

実装しながら学ぶTransformer

Multi Head AttentionからOriginal Transformerモデル、BERT、Encoder-DecoderベースのMarianMT翻訳モデルまでコードで直接実装しながらTransformerについて隅々まで学ぶことになります。

42名 が受講中です。

  • dooleyz3525
이론 실습 모두
transformer
NLP
바닥부터구현
Deep Learning(DL)
PyTorch
encoder-decoder
bert

こんなことが学べます

  • 直接実装しながら体得するTransformerのSelf、Causal、Cross Attentionメカニズム

  • Positional Encoding、Feed Forward、Encoder、Decoder等を直接実装しながら学ぶOriginal Transformerモデルアーキテクチャ

  • トークン化、埋め込みのNLP基盤とRNNモデルなどTransformerのための事前基盤知識

  • BERTモデルを直接実装し、実装されたBERTで文章分類学習を適用

  • 直接実装するEncoder-Decoder翻訳モデルであるMarianMTモデル

  • Hugging Face Dataset、Tokenizer、そしてDataCollatorの理解と活用

  • Encoder-Decoder MarianMT モデルの学習およびGreedyとBeam Search Inference

この講義一つでTransformer完全制覇!

本講義で最新AIの核心、Transformerを直接実装しながら学ぶことができます。

Transformerの核心メカニズムであるMulti-Head AttentionからOriginal Transformerモデル、BERTモデル、Encoder-Decoder MarianMT翻訳モデルまで、コードで実装しながら理解するTransformerフルコースで講義を構成しました。

この講義の特徴

[[SPAN_1]]💡 [[/SPAN_1]][[SPAN_2]]바닥부터 코드로 구현하며 배우는 Transformer[[/SPAN_2]]

Transformerの核心メカニズムであるMulti Head AttentionからOriginal TransformerモデルおよびBERT、Encoder-Decoder翻訳モデルであるMarianMTモデルまでコードで直接実装しながらTransformerについて詳細に学ぶことができます。

💡 NLP基礎からTransformerコアモデルまで段階的学習

Transformerを理解するには、まずNLPの基礎を理解することが重要です。

トークン化と埋め込み、そしてTransformer以前のRNNモデルから出発してAttention -> Transformer -> BERT -> MarianMT翻訳モデルまで一つの流れで講義を構成し、堅実なNLP基盤からTransformerコアモデルまで段階的に学習することができます。

💡 理論と実装のバランス

実装だけに集中しません。Transformerを構成する核心メカニズムが頭にすっきりと、簡単に理解できるように、多くの時間をかけてアイデアを構想し、講義を作りました。簡単で詳細な理論説明から実際のコード実装まで繋がる講義で、皆さんのTransformer応用実力を飛躍的に向上させて差し上げます。

💡 NLP核心問題解決プロセスの提示

埋め込み、パディング(Padding)マスキング、様々なタイプのAttention、パディングが適用されたLabelのLoss計算、動的(Dynamic)パディングなど実際の研究・実務で直面する要素を具体的に扱い、これらの解決過程をご提示いたします。


💡 Hugging Face主要ライブラリの活用

Hugging FaceはTransformerの活用において必要不可欠なライブラリです。本講義では、Hugging FaceのTokenizer、Dataset、DataCollatorなどを活用して、Transformerモデル学習のために大容量データセットを便利にデータ前処理、トークン化、動的パディング、Label値およびDecoder入力値変換などのデータ処理をどのように簡単で便利に処理するかを詳細にガイドいたします。

本講義にVision Transformer(ViT)セクションが追加される予定です

本講義にViT(Vision Transformer)講義が2025年11月末まで追加される予定です。ViT講義が追加された後は、本講義の価格が若干値上げされる予定です。

こんな内容を学びます

TransformerのためのNLP基礎とRNN

トークン化、埋め込み、RNNおよびSeq2Seqモデル、そしてAttentionの基礎など、Transformerを習得するための事前知識を要約して説明いたします。

Transformerの核心メカニズムと主要モジュール

Self Attention、Causal Attention、Cross Attentionなどの核心的なAttentionメカニズムと、Positional Encoding、Layer Normalization、Feed Forward、Encoder/Decoder Layerなど、Transformerの核心モジュールを詳細な理論と実習を通じて明確に理解していただけます。

Hugging Face Tokenizer、Dataset、DataCollatorの活用

Hugging FaceのDataset、Tokenizer、DataCollatorの特徴、利点、そして使用方法を詳細に説明いたします。そして、これらを組み合わせてTransformer NLPモデルのためのデータPipeline処理作業をどのように効果的に実行できるかを、様々な実習と例題を通じて体得していただけます。

BERTモデルの実装と活用

BERTモデルの主要構成要素を直接実装しながらBERTを学びます。さらに、このように実装したBERTとHugging Faceが提供する様々な機能を利用して文章分類のためのモデル学習およびInferenceを適用する方法を学ぶことができます。

Encoder-Decoderベースの MarianMT 翻訳モデルの実装と活用

Encoder-Decoderベースのハングル-英語翻訳モデルであるMarianMTモデルを直接実装し、Encoder-Decoderモデル学習時に必要な様々なデータ前処理方式と技法を学び、Auto RegressiveベースのGreedy SearchとBeam Searchの実装と適用方法を学びます。

受講前の参考事項

実習環境💾

実習環境はKaggleが提供するnotebookカーネルで実行します。Kaggleに登録後、Codeメニューを選択すると、Colabと類似したJupyter Notebook環境ベースでP100 GPUを週30時間無料で使用することができます。


140ページ分の講義教材が一緒に提供されます。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • トークン化からRNN、Transformerをコードで直接実装しながら基礎をしっかり固めたいディープラーニングNLP入門者

  • 単純にTransformerライブラリを使うのではなく、内部メカニズムを直接実装してみながらTransformer構造を深く理解したい方

  • 理論と実践のバランスの取れた方式でTransformerの核心メカニズムをより簡単に理解したい方

  • AIサービス開発時にAttentionやTransformerの基礎能力を確実に培うことを望む開発者

  • Transformerの基礎からテキスト分類、翻訳モデルまで完成度の高いEnd-to-End実戦プロジェクト経験を求める方

前提知識、
必要でしょうか?

  • ディープラーニングCNN完璧ガイド - Pytorch版

こんにちは
です。

26,378

受講生

1,323

受講レビュー

3,983

回答

4.9

講座評価

14

講座

(전) 엔코아 컨설팅

(전) 한국 오라클

AI 프리랜서 컨설턴트

파이썬 머신러닝 완벽 가이드 저자

カリキュラム

全体

124件 ∙ (24時間 21分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

まだ十分な評価を受けていない講座です。
みんなの役に立つ受講レビューを書いてください!

期間限定セール

¥50,050

35%

¥9,173

dooleyz3525の他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!