'어텐션 기법 - 키, 쿼리, 밸류는 무엇인가?' 강의에서 (QK^T)
740
投稿した質問数 8
안녕하세요!
'어텐션 기법 - 키, 쿼리, 밸류는 무엇인가?' 강의에서 (QK^T)쿼리와 키 transpose한 것이 어떻게 쿼리와 키의 유사도를 나타내는지 잘 이해가 가지 않습니다.
回答 1
1
안녕하세요.
좋은 질문 감사합니다.
데이터에 대한 유사도를 계산하는 방법이 여러 가지가 있는데 그 중에 내적을 이용한 계산법이 있습니다. 이 때 두 데이터 x, y의 내적을 xy^T 형태로 표현할 수 있는데요.
이와 같은 형태로 QK^T가 수학적으로 내적을 표현한다고 보시면 됩니다 :)
감사합니다.
mean attention distance
0
244
2
안녕하세요, vit에 관심이 많은 사람입니다.
1
252
1
positional embedding 학습이 잘 안되는 문제
1
391
1
행렬 차원 수 질문
0
335
1
Self Attention 질문 있습니다.
0
348
1
Multi-Head Attention 모델 구조에서 궁금한게 있습니다.
0
587
1
전처리 관련해서 질문이 있습니다
1
378
1
답변에 대한 추가질문이 있습니다.
1
325
1
헷갈리는게 몇개 있습니다ㅠㅠ
1
407
1
Positional Encoding, KQV 질문입니다!
2
649
1
강의 자료 슬라이드
0
760
2
비전 트랜스포머 - 최신 모델 강의에서 positional embedding
2
489
1
비전 트랜스포머 - 최신 모델' 강의에서 B*N*K 와 1*K*D 를 연산
1
432
1
training
1
312
1
Image가 입력일 때 Cross Attention 결과가 궁금합니다.
0
914
1
Transformer의 input에 대해 질문드립니다.
1
439
1
ViT에 대한 전반적인 질문 드립니다!
1
422
1
Key query value관련 질문
1
601
2
Fine tuning 관련하여 질문 드립니다.
1
674
1
코드 질문
1
336
1
Dh의 의미
1
339
1
scheduler관련 질문드립니다.
2
293
1
E, Epos
0
328
1
key의 차원으로 정규화
0
188
1