-
질문 & 답변
카테고리
-
세부 분야
컴퓨터 비전
-
해결 여부
해결됨
비전 트랜스포머 - 최신 모델 강의에서 positional embedding
23.01.24 11:48 작성 조회수 308
2
안녕하세요!
비전 트랜스포머 - 최신 모델 강의에서
예시로 설명해주신 R^65*128에 Epos 인 positional embedding을 더하는데도 R^65*128의 크기에는 변화가 없나요?? 이전에 클래스 정보를 더했을 때는 64에서 +1해서 65가 되었는데 positional embedding을 했을 때는 값에 변화가 없나 궁금해서 질문드립니다.
답변을 작성해보세요.
1
딥러닝호형
지식공유자2023.01.25
안녕하세요.
클래스 토큰에 대해서는 concatenate(옆에다 붙여줌)한 것이기 때문에 차원이 하나 늘어나는 것이고 positional embedding은 두 매트릭스의 합으로 연산된 것이기 때문에 크기가 늘어나지 않습니다.
예를 들어 크기가 nxn 매트릭스와 nxn 매트릭스의 합은 nxn 매트릭스가 됩니다.
감사합니다.
답변 1