밑바닥부터 시작하는 딥러닝 6 스터디 모집
44
기본적인 LLM 구현부터 현대적인 아키텍처와 최적화 기법까지, 직접 만들고 실험하며 배우는 7주!
LLM을 단순히 사용하는 것을 넘어, 내부 동작 원리를 이해하고 직접 구현해 보고 싶으신가요?
이번 스터디에서는 『밑바닥부터 시작하는 딥러닝 6』을 함께 학습하며,
Tokenizer부터 Transformer, Pretraining, 최신 LLM 기술까지 단계적으로 경험합니다.
책을 읽는 데 그치지 않고, 세 가지 프로젝트를 직접 구축하고 개선하는 실습 중심의 스터디입니다.
스터디 커리큘럼
1단계 · CodeBot (1~3주)
코드 생성 LLM 만들기
LLM의 기본 구조와 학습 과정을 이해하고, 작은 코드 생성 모델을 직접 구현합니다.
Tokenizer 구현 및 동작 원리
Transformer 모델 구현
Pretraining 및 학습 과정
Text Generation
2단계 · StoryBot (4~6주)
스토리 생성 LLM 만들고 개선하기
기본 모델을 바탕으로 토크나이저, 모델 구조, 학습 방법을 개선하며 성능을 높여 봅니다.
Tokenizer Optimization
Model Improvement
Training Optimization
3단계 · WebBot (7주)
웹 데이터 기반 LLM 만들기
웹 데이터를 활용해 모델을 구축하고, 현대적인 LLM 아키텍처를 소개합니다.
현대적인 LLM 아키텍처 소개
Advanced Transformer Architecture
FlashAttention
Mixture of Experts (MoE)
Grouped-Query Attention (GQA)
🗓️ 주차별 학습 계획
1주 11/22 1장 토크나이저 기본편 CodeBot Tokenizer
2주 11/29 2장 모델 기본편 CodeBot Model
3주 12/06 3장 학습 기본편 CodeBot 학습 및 생성
4주 12/13 4장 토크나이저 응용편 StoryBot Tokenizer 개선
5주 12/20 5장 모델 응용편 StoryBot 모델 개선
6주 12/27 6장 학습 응용편 StoryBot 학습 개선
7주 01/03 7~9장 도전편 WebBot 구축 및 최적화
스터디 진행 방식
모임 장소: Discord
모임 시간: 매주 일요일 오전 11시 30분
진행 방식: 주차별 개인 발표
매주 정해진 학습 범위를 각자 공부하고, Discord에서 개인 발표를 진행합니다.
개인 발표 내용
해당 주차의 핵심 개념 및 이론 정리
주요 코드와 모델 구현 과정 설명
직접 실행한 실험 및 결과 공유
추가로 궁금했던 내용 및 자유 토론
직접 코드를 작성하고 실험한 내용을 공유하면서 함께 성장하는 것을 목표로 합니다.
이런 분들과 함께하고 싶습니다!
LLM이 내부적으로 어떻게 동작하는지 깊이 이해하고 싶은 분
Tokenizer부터 Transformer까지 직접 구현해 보고 싶은 분
혼자 공부하기보다 함께 공부하고 지식을 공유하고 싶은 분
스터디 목표
7주간의 학습을 통해 LLM의 기본 원리부터 현대적인 아키텍처까지 단계적으로 익히는 것을 목표로 합니다.
LLM을 사용하는 사람에서, LLM을 직접 만드는 사람으로!
함께 공부하고, 직접 구현하고, 서로의 지식을 공유하면서 LLM의 밑바닥부터 시작해 봅시다.
참여 신청
스터디 참여를 원하시는 분은 아래 카카오톡 오픈채팅으로 신청해 주세요!
👉 카카오톡 오픈채팅 신청
https://open.kakao.com/o/sx9lNwVi
많은 관심과 참여 부탁드립니다! 🙌
답변 0





