김영우

Multi Head Attention 부터 Original Transformer 모델, BERT, Encoder-Decoder 기반의 MarianMT 번역 모델, Vision Transformer 까지 코드로 직접 구현하며 Transformer에 대해 속속들이 배우게 됩니다. 

권 철민

구현하며 배우는 Transformer

오, 소중한 첫 수강평 감사드립니다.

헉, 정말 감사하게 듣고 있습니다 감사합니다!

이론과 실습 한 번에

이론 실습 모두

transformer

바닥부터구현

입문

초급

중급이상

Deep Learning(DL)

딥러닝

파이토치

PyTorch

encoder-decoder

bert

강의 소개 및 실습 환경 구성

Transformer를 위한 사전 지식 - NLP 기반과 RNN 이해

Transformer 개요 및 Multi Head Self Attention(다중 헤드 셀프 어텐션) 구현

Transformer Encoder 구현

Transformer Decoder 구현

Hugging Face Dataset 다루기

Hugging Face Tokenizer 와 DataCollator 다루기

BERT 모델 구현 및 학습과 Inference

Encoder-Decoder 번역 모델 MarianMT 구현

구현한 MarianMT 모델 학습 및 Inference

Vision Transfomer(ViT) 구현