인프런 - 라이프타임 커리어 플랫폼

LLM(Large Language Model)의 기초 개념부터 고성능 LLM인 Llama 2 모델을 내가 원하는 데이터셋에 Fine-Tuning하는 방법까지 차근차근 학습합니다.

<대규모 언어 모델, 핵심만 빠르게!>(인사이트, 2025)를 바탕으로 LLM의 이론과 실전 예제를 다루는 강의입니다.

<밑바닥부터 만들면서 배우는 LLM>(길벗, 2025)의 깃허브 노트북과 보너스 콘텐츠를 다루는 강의입니다. 깃허브: https://github.com/rickiepark/llm-from-scratch/ <밑바닥부터 만들면서 배우는 LLM>은 세바스찬 라시카(Sebastian Raschka)가 쓴 베스트셀러 <Build a Large Langauge Model (from Scratch)>(Manning, 2024)의 번역서입니다. 이 책은 오픈AI가 만든 GPT-2 모델을 밑바닥에서부터 시작해서 완전한 모델을 만들어 보면서 대규모 언어 모델의 작동 원리를 배우고 활용하는 방법을 제공합니다.

Multi Head Attention 부터 Original Transformer 모델, BERT, Encoder-Decoder 기반의 MarianMT 번역 모델, Vision Transformer 까지 코드로 직접 구현하며 Transformer에 대해 속속들이 배우게 됩니다.

이 강의는 Transformer를 단순히 “구현하는 법”이 아니라, 왜 이런 구조가 만들어졌는지, 각 모듈이 어떤 역할을 하는지, 그리고 전체 모델이 어떻게 작동하는지를 설계자의 관점에서 해부하는 과정입니다. Self-Attention과 Multi-Head Attention의 내부 계산 원리를 깊이 있게 분석하고, Positional Encoding, Feed-Forward Network, Encoder·Decoder 구조가 어떤 한계를 해결하기 위해 등장했는지를 수식·논문·구현 코드로 직접 확인합니다. Attention에서 출발해 Transformer 전체 구조를 직접 조립하고, 실제로 학습까지 수행하며 모델이 어떻게 동작하는지 체득합니다. 이 강의는 “Transformer를 완전히 이해하고 싶은 사람”을 위한 가장 구조적이고 실전적인 로드맵입니다.

왜 Attention이 필요했는지, 그리고 어떻게 동작하는지 ‘코드로 직접 구현하며’ 이해합니다. 이 강의는 RNN과 Seq2Seq 모델의 구조적 한계에서 출발하여, 고정된 컨텍스트 벡터가 만들어내는 정보 병목 문제, 장기 의존성 문제를 실험으로 검증하고 그 한계를 해결하기 위해 Attention이 어떻게 등장했는지를 자연스럽게 이어서 설명합니다. 단순히 개념을 소개하는 것이 아니라, RNN의 구조적 한계와 Seq2Seq의 정보 병목 문제를 직접 실험으로 확인하고, 이를 해결하기 위해 등장한 **Bahdanau Attention(가산적 어텐션)**과 **Luong Attention(점곱 어텐션)**을 하나씩 구현하며 그 차이를 명확하게 이해합니다. 각 어텐션이 어떤 방식으로 Query–Key–Value 관계를 형성하고, 가중치를 계산하는 과정에서 어떤 수학적·직관적 차이를 가지며, 왜 후대 모델로 이어질 수밖에 없었는지 그 특성과 진화 흐름까지 자연스럽게 연결됩니다. Attention이 문장과 단어를 어떻게 바라보고, 각 단어가 어떤 방식으로 중요도를 부여받아 정보를 통합하는지를 수식 → 직관 → 코드 → 실험이 하나로 이어진 형태로 학습합니다. 이 강의는 Transformer를 제대로 이해하기 위한 ‘기초 체력’을 쌓는 과정으로, Attention이라는 개념이 왜 혁명적이었는지, 그리고 이후의 모든 최신 NLP 모델(Transformer, BERT, GPT 등)이 왜 Attention을 핵심 구성요소로 삼는지를 깊이 있게 이해하게 됩니다. RNN → Seq2Seq → Attention으로 이어지는 흐름을 개념이 아니라 코드와 실험으로 체화하고 싶은 학습자에게 최적화된 강의입니다.

최신 Transformer 기반 PixArt와 경량 적응화 SANA를 이론부터 코드까지 단계별로 구현합니다. I·II편에서 다룬 DDPM·DDIM·LDM·DiT를 바탕으로, 텍스트 인코더 연결, 샘플러(DDIM/ODE), v-예측/CFG 튜닝, 소규모 데이터 스타일 미세튜닝까지 실습 위주로 완주합니다.

기본적인 자연어처리 기법(Natural Language Processing)과 딥러닝을 활용한 다양한 텍스트 task에 대해 다룹니다.