강의

멘토링

로드맵

NEW
AI 개발

/

자연어 처리

구현하며 배우는 Transformer

Multi Head Attention 부터 Original Transformer 모델, BERT, Encoder-Decoder 기반의 MarianMT 번역 모델까지 코드로 직접 구현하며 Transformer에 대해 속속들이 배우게 됩니다.

50명 이 수강하고 있어요.

  • 권 철민
이론 실습 모두
transformer
NLP
바닥부터구현
딥러닝PyTorchencoder-decoderbert

이런 걸 배울 수 있어요

  • 직접 구현하며 체득하는 Transformer의 Self, Causal, Cross Attention 메커니즘

  • Positional Encoding, Feed Forward, Encoder, Decoder 등을 직접 구현해보며 배우는 Original Transformer 모델 아키텍처

  • 토큰화, 임베딩의 NLP 기반과 RNN 모델 등 Transformer를 위한 사전 기반 지식

  • BERT 모델을 직접 구현하고 구현된 BERT로 문장 분류 학습 적용

  • 직접 구현 하는 Encoder-Decoder 번역 모델인 MarianMT 모델

  • Hugging Face Dataset, Tokenizer 그리고 DataCollator의 이해 및 활용

  • Encoder-Decoder MarianMT 모델의 학습 및 Greedy와 Beam Search Inference

이 강의 하나로 Transformer 완전 정복!

본 강의로 최신 AI의 핵심, Transformer를 직접 구현하며 배우실 수 있습니다.

Transformer의 핵심 메커니즘인 Multi-Head Attention 부터 Original Transformer 모델, BERT 모델, Encoder-Decoder MarianMT 번역 모델까지, 코드로 구현하며 이해하는 Transformer 풀코스로 강의를 구성하였습니다.

이 강의의 특징

💡 바닥부터 코드로 구현하며 배우는 Transformer

Transformer의 핵심 메커니즘인 Multi Head Attention 부터 Original Transformer 모델 및 BERT, Encoder-Decoder 번역 모델인 MarianMT 모델까지 코드로 직접 구현하며 Transformer에 대해 속속들이 배우게 됩니다.

💡 NLP 기반부터 Transformer 핵심 모델까지 단계적 학습

Transformer 를 이해하려면 NLP 기반을 먼저 이해하는 것이 중요합니다.

토큰화 및 임베딩, 그리고 Transformer 이전의 RNN 모델에서 출발하여 Attention -> Transformer -> BERT -> MarianMT 번역 모델까지 한 흐름으로 강의를 구성하여 튼튼한 NLP 기반부터 Transformer 핵심 모델까지 단계적으로 학습이 가능합니다.

💡 이론과 구현의 균형

구현만 집중하지 않습니다. Transformer를 구성하는 핵심 메커니즘들이 머리에 쏙쏙, 쉽게 이해되도록, 많은 시간을 들여서 아이디어를 구상하고, 강의를 만들었습니다.  쉽고, 자세한 이론 설명에서 실제 코드 구현까지 이어지는 강의로 여러분의 Transformer 응용 실력을 일취월장 하게 만들어 드릴 것 입니다.  

💡 NLP 핵심 문제 해결 과정 제시

임베딩, 패딩(Padding) 마스킹, 다양한 유형의 Attention, 패딩 적용된 Label의 Loss 계산, 동적(Dynamic) 패딩 등 실제 연구/실무에서 마주치는 요소들을 구체적으로 다루며, 이의 해결 과정을 제시해 드립니다.


💡 Hugging Face 주요 라이브러리 활용

Hugging Face는 Transformer 활용에 있어서 필수 불가결한 라이브러리 입니다. 본 강의에서는 Hugging Face의 Tokenizer, Dataset, DataCollator 등을 활용하여 Transformer 모델 학습을 위해 대용량 데이터 세트를 편리하게 데이터 전처리, 토큰화, 동적 패딩, Label값 및 Decoder 입력 값 변환 등의 데이터 처리를 어떻게 쉽고 편리하게 처리하는 지 상세하게 가이드 해 드립니다.

본 강의에 Vision Transformer(ViT) 섹션이 추가될 예정입니다

본 강의에 ViT(Vision Transformer) 강의가 2025년 11월말까지 추가될 예정입니다. ViT 강의가 추가 된 이후에는 본 강의의 가격이 약간 인상될 예정입니다.

이런 내용을 배워요

Transformer 사전 지식을 위한 NLP 기반과 RNN

토큰화, 임베딩, RNN 및 Seq2Seq 모델 그리고 Attention 기초 등 Transformer를 익히기 위한 사전 지식을 요약하여 설명 드립니다.

Transformer 핵심 메커니즘과 주요 모듈

Self Attention, Causal Attention, Cross Attention 등의 핵심 Attention 메커니즘과 Postional Encoding, Layer Normalizaiton, Feed Forward, Encoder/Decoder Layer등 Transformer의 핵심 모듈들을 상세한 이론과 실습을 통해 명확하게 이해 하실 수 있습니다.

Hugging Face Tokenizer, Dataset, DataCollator 활용

Hugging Face의 Dataset, Tokenizer, DataCollator의 특징, 장점 그리고 사용 방법을 상세히 설명 드립니다. 그리고 이들을 결합하여 Transformer NLP 모델을 위한 데이터 Pipeline 처리 작업을 어떻게 효과적으로 수행 할 수 있는 지 다양한 실습과 예제를 통해 체득하실 수 있습니다.

BERT 모델의 구현과 활용

BERT 모델의 주요 구성 요소를 직접 구현하면서 BERT를 익힙니다. 뿐만 아니라 이렇게 구현한 BERT와 Hugging Face에서 제공하는 다양한 기능을 이용하여 문장 분류를 위한 모델 학습 및 Inference 를 적용하는 방법을 배울 수 있습니다.

Encoder-Decoder 기반의 MarianMT 번역 모델의 구현과 활용

Encoder-Decoder 기반의 한글-영어 번역 모델인 MarianMT 모델을 직접 구현해 보고, Encoder-Decoder 모델 학습 시 필요한 다양한 데이터 전처리 방식과 기법을 배우게 되며, Auto Regressive 기반의 Greedy Search와 Beam Search의 구현과 적용 방법을 배우게 됩니다.

수강 전 참고 사항

실습 환경 💾

실습 환경은 Kaggle에서 제공하는 notebook 커널로 수행합니다. Kaggle에 가입 하신 후 Code 메뉴를 선택하시면 Colab과 유사한 Jupyter Notebook 환경 기반에서 P100 GPU를 1주일에 30시간 무료로 사용하실 수 있습니다.


140 페이지 분량의 강의 교재가 함께 제공됩니다.

이런 분들께
추천드려요

학습 대상은
누구일까요?

  • 토큰화부터 RNN, Transformer를 코드로 직접 구현하면서 기초를 단단히 다지고 싶은 딥러닝 NLP 입문자

  • 단순히 Transformer 라이브러리를 쓰지 않고, 내부 메커니즘을 직접 구현해보면서 Transformer 구조를 깊이 이해하고자 하시는 분

  • 이론과 실전의 균형 잡힌 방식으로 Transformer의 핵심 메커니즘을 보다 쉽게 이해하길 원하시는 분

  • AI 서비스 개발 시 Attention이나 Transformer의 기초 능력을 확실하게 배양 하기를 원하는 개발자

  • Transformer 기초 부터 텍스트 분류, 번역 모델까지 완성도 있는 End-to-End 실전 프로젝트 경험을 원하는 분

선수 지식,
필요할까요?

  • 딥러닝 CNN 완벽 가이드 - Pytorch 버전

안녕하세요
입니다.

26,391

수강생

1,323

수강평

3,984

답변

4.9

강의 평점

14

강의

(전) 엔코아 컨설팅

(전) 한국 오라클

AI 프리랜서 컨설턴트

파이썬 머신러닝 완벽 가이드 저자

커리큘럼

전체

124개 ∙ (24시간 21분)

해당 강의에서 제공:

수업자료
강의 게시일: 
마지막 업데이트일: 

수강평

아직 충분한 평가를 받지 못한 강의입니다.
모두에게 도움이 되는 수강평의 주인공이 되어주세요!

얼리버드 할인 중

₩50,050

35%

₩77,000

권 철민님의 다른 강의

지식공유자님의 다른 강의를 만나보세요!

비슷한 강의

같은 분야의 다른 강의를 만나보세요!