안녕하세요! 비전 트랜스포머 - 최신 모델 강의에서예시로 설명해주신 R^65*128에 Epos 인 positional embedding을 더하는데도 R^65*128의 크기에는 변화가 없나요?? 이전에 클래스 정보를 더했을 때는 64에서 +1해서 65가 되었는데 positional embedding을 했을 때는 값에 변화가 없나 궁금해서 질문드립니다.

안녕하세요.클래스 토큰에 대해서는 concatenate(옆에다 붙여줌)한 것이기 때문에 차원이 하나 늘어나는 것이고 positional embedding은 두 매트릭스의 합으로 연산된 것이기 때문에 크기가 늘어나지 않습니다.예를 들어 크기가 nxn 매트릭스와 nxn 매트릭스의 합은 nxn 매트릭스가 됩니다.&nbsp;감사합니다.

인프런 커뮤니티 질문&답변

비전 트랜스포머 - 최신 모델 강의에서 positional embedding