-
질문 & 답변
카테고리
-
세부 분야
컴퓨터 비전
-
해결 여부
미해결
Dh의 의미
22.05.05 11:36 작성 조회수 144
1
안녕하세요. 강의 잘 듣고 있습니다.
ViT 구조 설명에서 Dh의 의미가 궁금합니다.
D x 3Dh에서 Dh요!
슬라이드에 표기된 것처럼 Dh = D/k 인가요?
만약 그렇게 되면, 왜 key로 D를 나누는 지 궁금합니다!
답변을 작성해보세요.
1
딥러닝호형
지식공유자2022.05.05
안녕하세요. 김성웅님 :)
Dh는 각 헤드의 디멘젼이고 Dh=D/k에서의 k는 헤드의 수입니다. 즉, latent vector dimension을 동일하게 나누어 각 헤드의 디멘젼을 정의한 것입니다. 정의에 관해서는 D=k*Dh이기 때문에 모든 헤드를 포함한 전체 차원을 D라고 놓고 계산할 수 있기 때문에 계산도 편하고 구현도 편해집니다 :)
코드 설명부분에서 확인 가능하십니다!
답변 1