aboutexo046263

From Multi Head Attention to the Original Transformer model, BERT, and Encoder-Decoder based MarianMT translation model, you'll learn Transformer inside and out by implementing them directly with code.

dooleyz3525

Learning Transformer Through Implementation

이론과 실습 한 번에

이론 실습 모두

transformer

바닥부터구현

Multi Head Attention 부터 Original Transformer 모델, BERT, Encoder-Decoder 기반의 MarianMT 번역 모델까지 코드로 직접 구현하며 Transformer에 대해 속속들이 배우게 됩니다. 

권 철민

입문

초급

중급이상

Deep Learning(DL)

딥러닝

파이토치

PyTorch

encoder-decoder

bert

구현하며 배우는 Transformer

강의 소개 및 실습 환경 구성

Transformer를 위한 사전 지식 - NLP 기반과 RNN 이해

Transformer 개요 및 Multi Head Self Attention(다중 헤드 셀프 어텐션) 구현

Transformer Encoder 구현

Transformer Decoder 구현

Hugging Face Dataset 다루기

Hugging Face Tokenizer 와 DataCollator 다루기

BERT 모델 구현 및 학습과 Inference

Encoder-Decoder 번역 모델 MarianMT 구현

구현한 MarianMT 모델 학습 및 Inference

Vision Transfomer(ViT) 구현