LLM이 엄청나게 많이 쓰이면서 유튜브에도 나만의 LLM모델을 바닥부터 구축하는 영상이 많이 올라와 있는데요, 참조하고 발전시켜서 너무 작지 않은, 0.6B-1.5B 정도의 모델을 직접 만들어보면 과정에서 많은 걸 배우지 않을까 해서 스터디를 만들게 되었습니다.
🎄과정
코딩!! 직접 구현하는게 핵심인 스터디입니다. attention부터 grpo까지 모두 torch만으로 구현합니다.
노션:
https://www.notion.so/LLM-2d08960a5fa7804dbeebd1356c0091d9?source=copy_link
🎄모임 상세
온오프 믹스, 오프라인 모임은 주말 활용
약 3달 걸릴 것으로 예상
multi gpu대여비 각자 약 50달러 발생 예상
스터디를 위해 제가 500달러 어치 A100 인스턴스를 빌릴 예정입니다.
🎄지원 제한
pytorch 사용 가능자
attention, transformer 모델 이해하고 있는 사람
프로젝트에 상당한 시간 쏟을 수 있는 분(대학(원)생/취준생이면 제일 좋습니다)
🎄신청 및 문의
