트랜스포머 Encoder Output이 Decoder Input으로 들어갈 때 관련 질문 드립니다.
502
작성한 질문수 13
Encoder의 Output은 attention vector (seq_len x d model) 하나가 나오는데, Decoder의 인풋으로 들어갈 땐 이를 encoder에서 배웠던 Q, K, V 로 나눈뒤, 이중에서 K, V 가 Decoder의 Encoder-Decoder attention layer에서의 K, V로 사용된다고 보면 될까요?
답변 1
1
네, 맞습니다. 트랜스포머 모델에서 인코더의 출력은 디코더의 인풋으로 사용됩니다. 인코더의 출력은 Query(Q), Key(K), Value(V)로 변환됩니다. 이때 디코더의 인코더-디코더 어텐션 메커니즘에서 인코더의 출력은 K와 V로 사용되며, 디코더의 현재 상태는 Q로 사용됩니다.
인코더-디코더 어텐션 메커니즘은 디코더가 인코더의 모든 위치에 접근할 수 있도록 해주는 메커니즘입니다. 이는 인코더의 각 단어가 디코더에 의해 얼마나 집중되는지에 대한 정보를 제공합니다.
좋은 질문 감사합니다.
트랜스포머 FeedForward 관련 질문
0
69
2
파라미터갯수에대한질문(030_IMDB_movie_reviews)
0
60
1
Transformer 번역기 분석 - Part1 따라치기 질문
0
69
2
Encoder-Decoder 질문 드립니다.
0
71
2
model 코드 부분을 따라하다가 전 값이 이상해서요
0
83
1
서적 추천
0
75
1
NLP와 LLM의 차이점
0
550
2
encoder-decoder model 질문입니다.
1
73
1
구글번역기에 대해서 궁금한점이 있습니다.
0
122
2
로드맵에대해서...
0
119
2
Bag of Word (BOW)와TF-IDF시 대명사인 I의행방
0
94
2
강의 교재 최신화 요청
0
142
4
self-attention에서 Wq, Wk, Wv weight matrix 학습과정 질문드립니다.
0
189
3
코랩 환경 설정할 때 질문이 있습니다.
0
248
1
transformer 훈련 마친 모델 공유 가능할까요?
0
216
2
130_Transformer.ipynb transformer.summary() 에러
0
182
2
강사님 궁금한게 있어 문의 드립니다.
0
128
1
강사님 Tensorflow 실습코드 중 궁금한 점이 있습니다.
0
124
1
패딩과 관련한 질문 드립니다.
0
171
1
Encoder Decoder 부터 Simple Chatbot까지 이상답변
0
218
1
seq2seq 모델
0
323
1
강의 내용중 질문있습니다.
0
197
1
Transformer 번역기 부분에 대해 질문 있습니다.
0
212
1
320_Custom_Sentiment_Analysis_navermovie.ipynb 실행 시 오류 납니다.
0
314
2