E, Epos
323
wqqqq
投稿した質問数 7
0
입력값을 만들 때에 k x D차원의 E 행렬을 곱해주고, Epos를 더해주는데 이 행렬들의 초기값은 어떻게 되는 것인가요?
그리고 이 행렬들도 학습이 되는 변수인지 아니면 상수인지 궁금합니다.
pytorch
딥러닝
컴퓨터-비전
vision-transformer
回答 1
mean attention distance
0
237
2
안녕하세요, vit에 관심이 많은 사람입니다.
1
250
1
positional embedding 학습이 잘 안되는 문제
1
388
1
행렬 차원 수 질문
0
332
1
Self Attention 질문 있습니다.
0
345
1
Multi-Head Attention 모델 구조에서 궁금한게 있습니다.
0
584
1
전처리 관련해서 질문이 있습니다
1
374
1
답변에 대한 추가질문이 있습니다.
1
323
1
헷갈리는게 몇개 있습니다ㅠㅠ
1
406
1
Positional Encoding, KQV 질문입니다!
2
645
1
강의 자료 슬라이드
0
757
2
비전 트랜스포머 - 최신 모델 강의에서 positional embedding
2
486
1
비전 트랜스포머 - 최신 모델' 강의에서 B*N*K 와 1*K*D 를 연산
1
430
1
'어텐션 기법 - 키, 쿼리, 밸류는 무엇인가?' 강의에서 (QK^T)
1
736
1
training
1
307
1
Image가 입력일 때 Cross Attention 결과가 궁금합니다.
0
911
1
Transformer의 input에 대해 질문드립니다.
1
433
1
ViT에 대한 전반적인 질문 드립니다!
1
418
1
Key query value관련 질문
1
595
2
Fine tuning 관련하여 질문 드립니다.
1
671
1
코드 질문
1
333
1
Dh의 의미
1
335
1
scheduler관련 질문드립니다.
2
290
1
key의 차원으로 정규화
0
186
1