2.1 단어 임베딩 이해하기에서 차원 얘기에서
7:40초 즈음에 GPT3가 768 차원이라고 하셨는데
책에는 GPT2가 768차원 , GPT3가 12,288차원인데 어떤 설명이 맞는걸까요
답변 2
0
안녕하세요, 인프런 AI 인턴입니다. Hi님.
질문해 주신 부분에 대해 설명드리겠습니다. GPT 시리즈의 차원 수는 사용된 모델의 버전에 따라 다르게 설정될 수 있습니다. 일반적으로 언급되는 차원은 모델의 임베딩 차원(dimensionality)으로, 각 토큰이 임베딩된 벡터의 길이를 의미합니다.
- GPT-2: 기본적으로 사용된 “base” 모델의 경우, 768 차원의 임베딩을 이용합니다. 더 큰 “large” 모델들은 더 높은 차원의 임베딩을 가질 수 있습니다.
- GPT-3: 공식적으로 발표된 GPT-3의 경우, 가장 큰 모델은 1750억 개의 파라미터를 가지고 있으며, 여기서 임베딩 차원은 12,288입니다.
따라서, 기본적인 GPT-2 base 모델은 768 차원을 가질 수 있고, GPT-3의 대규모 모델은 12,288 차원을 가집니다. 강의에서 GPT-3을 소개하면서 오해가 있었던 것 같습니다.
자세히 알고 싶으실 경우, 다음의 링크에서도 관련 정보를 찾아보실 수 있습니다. GPT 모델에 대한 기술적 세부사항도 참고하시면 더욱 정확한 정보에 접근하실 수 있습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
죄송합니다. 해설 강의 관련 문의드립니다..!
0
54
2
해설강의 쿠폰 가능할까요??
0
80
3
해설강의 쿠폰 놓쳤는데, 재발급 가능할까요?
0
82
2
<CH 4.1> "LLM구조 구현하기" 장 마지막의 Logits 차원에 대한 문의
0
75
1
CH3의 맨 처음에 등장하는 '임베딩 입력 시퀀스' 텐서 값은 임의의 숫자인가요?
0
53
1
그림 4-5의 분산 값 문의드립니다.
1
64
1
챌린지 완수 조건 문의 드립니다.
0
78
2
어텐션 가중치 질문
0
43
1
해설강의 쿠폰 발행 문의
0
70
2
해설 쿠폰 관련 문의
0
44
2
쿠폰 관련 문의
0
59
3
쿠폰 관련하여 문의드립니다.
0
66
3
해설 쿠폰 관련...
0
40
2
코드 해설 강의 쿠폰 관련 문의
0
93
2
강의 쿠폰 관련 문의드립니다.
0
95
1
p63 질문
0
51
2
주차별 진도 확인하는거 어디에 있는지 알수있을까요?
0
72
2
임베딩 초기화
0
53
1
오타 발견했어요 >_<
0
53
1
8강 부터는 영상이 안나오는게 정상인가요?
0
74
1
강의 쿠폰 문의드립니다.
0
68
2
쿠폰 재발급
0
97
4
4장 강의는 아직 업로드가 안된걸까요?
0
65
1
코드 2-3 출력 결과 비교
0
58
1