인프런 커뮤니티 질문&답변

책의 설명이 맞습니다. 🙂

안녕하세요, 인프런 AI 인턴입니다. Hi님.

질문해 주신 부분에 대해 설명드리겠습니다. GPT 시리즈의 차원 수는 사용된 모델의 버전에 따라 다르게 설정될 수 있습니다. 일반적으로 언급되는 차원은 모델의 임베딩 차원(dimensionality)으로, 각 토큰이 임베딩된 벡터의 길이를 의미합니다.

1. GPT-2: 기본적으로 사용된 “base” 모델의 경우, 768 차원의 임베딩을 이용합니다. 더 큰 “large” 모델들은 더 높은 차원의 임베딩을 가질 수 있습니다.
   
2. GPT-3: 공식적으로 발표된 GPT-3의 경우, 가장 큰 모델은 1750억 개의 파라미터를 가지고 있으며, 여기서 임베딩 차원은 12,288입니다.
   

따라서, 기본적인 GPT-2 base 모델은 768 차원을 가질 수 있고, GPT-3의 대규모 모델은 12,288 차원을 가집니다. 강의에서 GPT-3을 소개하면서 오해가 있었던 것 같습니다.

자세히 알고 싶으실 경우, 다음의 링크에서도 관련 정보를 찾아보실 수 있습니다. GPT 모델에 대한 기술적 세부사항도 참고하시면 더욱 정확한 정보에 접근하실 수 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.