Key query value관련 질문
回答 2
1
안녕하세요.
키, 쿼리, 밸류 별로 왜 linear 연산을 하는지 궁금해 하셨는데요.
"왜"라는게 정확히 무엇이 궁금하신지 모르겠습니다.
키, 쿼리, 밸류는 동일한 어텐션 인풋으로 부터 얻어지는 것인데요. 모두를 linear연산으로 정의했을 때 동시에 연산할 수 있는 장점이 있고요. 또한 linear 연산은 벡터 형태로 들어오는 것을 처리하는데 가장 기본적으로 쓰이는 구조이기 때문에 쉽게 적용 가능합니다.
답변이 되셨나요? :)
0
오오 빠른 답변감사드립니다.
처음에 임베딩된 입력벡터를 그냥 키 쿼리 밸류로 단순히 복사해서 키와 쿼리를 비교하지 않고
키와 쿼리, 밸류로 각각 linear로 한번씩 처리하고 비교하는 이유가 궁금해져서 여쭤보았습니다.
감사합니다!
mean attention distance
0
199
2
안녕하세요, vit에 관심이 많은 사람입니다.
1
233
1
positional embedding 학습이 잘 안되는 문제
1
365
1
행렬 차원 수 질문
0
315
1
Self Attention 질문 있습니다.
0
325
1
Multi-Head Attention 모델 구조에서 궁금한게 있습니다.
0
555
1
전처리 관련해서 질문이 있습니다
1
362
1
답변에 대한 추가질문이 있습니다.
1
301
1
헷갈리는게 몇개 있습니다ㅠㅠ
1
375
1
Positional Encoding, KQV 질문입니다!
2
623
1
강의 자료 슬라이드
0
738
2
비전 트랜스포머 - 최신 모델 강의에서 positional embedding
2
468
1
비전 트랜스포머 - 최신 모델' 강의에서 B*N*K 와 1*K*D 를 연산
1
401
1
'어텐션 기법 - 키, 쿼리, 밸류는 무엇인가?' 강의에서 (QK^T)
1
717
1
training
1
288
1
Image가 입력일 때 Cross Attention 결과가 궁금합니다.
0
889
1
Transformer의 input에 대해 질문드립니다.
1
415
1
ViT에 대한 전반적인 질문 드립니다!
1
394
1
Fine tuning 관련하여 질문 드립니다.
1
647
1
코드 질문
1
316
1
Dh의 의미
1
308
1
scheduler관련 질문드립니다.
2
276
1
E, Epos
0
304
1
key의 차원으로 정규화
0
167
1