いつも良い講義をありがとうございます!

jcy40236396

Multi Head Attentionから始まり、Original Transformerモデル、BERT、Encoder-DecoderベースのMarianMT翻訳モデル、Vision Transformerまで、コードで直接実装しながらTransformerについて隅々まで学ぶことができます。

dooleyz3525

実装しながら学ぶTransformer

이론과 실습 한 번에

이론 실습 모두

transformer

바닥부터구현

입문

초급

중급이상

Deep Learning(DL)

파이토치

PyTorch

encoder-decoder

bert

講義紹介及び実習環境構成

Transformerのための事前知識 - NLP基盤とRNN理解

Transformerの概要およびMulti Head Self Attention（マルチヘッドセルフアテンション）実装

Transformer Encoderの実装

Transformer Decoderの実装

Hugging Face Dataset の扱い方

Hugging Face Tokenizer と DataCollator の扱い方

BERT モデルの実装および学習と Inference

Encoder-Decoder翻訳モデルMarianMTの実装

実装したMarianMTモデルの学習およびInference

Vision Transformer(ViT) 実装