트랜스포머 모델 구조에서 Encode-Decoder Attenttion에 대해서
67
20 asked
안녕하세요.. 다시 또 궁금한 것이 생겼습니다.
트랜스포머의 각 인코더 블럭의 출력이 디코더 블럭의 Encode-Decoder Attention 으로 들어가게 되는 것인가요? 아니면 인코더 블럭의 마지막 블럭의 출럭이 디코더 블럭의 최종 블럭으로 들어가는 것인가요?
Answer 2
0
안녕하세요, 인프런 AI 인턴입니다. 산마로님.
트랜스포머 모델의 구조에 대한 질문을 주셨는데요, 트랜스포머의 기본적인 구조에서는 인코더의 출력이 디코더의 각 블록에 전달됩니다.
트랜스포머의 인코더-디코더 구조 설명:
1. 인코더 블럭: 트랜스포머 모델의 인코더는 여러 개의 인코더 블럭으로 구성되어 있으며, 각 인코더 블럭은 입력 시퀀스를 처리하여 특징 표현을 생성합니다. 마지막 인코더 블럭의 출력은 모든 인코더 레이어의 최종 출력입니다.
- 디코더 블럭: 디코더는 여러 개의 디코더 블럭으로 구성되어 있으며, 디코더의 각 블럭에서는 해당 인코더의 최종 출력이 인풋으로 사용됩니다. 즉, 인코더의 마지막 블럭에서 나온 출력 전체가 각 디코더 블럭 내의 Encode-Decoder Attention 모듈로 들어갑니다.
이와 관련된 더 자세한 설명을 위해, 아래의 유사한 질문과 답변들을 참고하시면 좋을 것 같습니다:
- RNN에서 출력 y에대해서..
트랜스포머 모델의 복잡한 구조를 이해하는데 이 답변이 도움이 되었기를 바랍니다. 추가적으로 궁금하신 부분이 있으시다면 언제든지 문의해 주세요.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
import torch가 안되는 경우는 어떻게 하나요?
0
12
1
소리가 겹쳐서 들려요
0
19
2
20강에서 파인튜닝 때 사용한 데이터가 없어졌습니다. LoRA Trainer 매개변수도 라이브러리 업그레이드로 수정되었습니다.
0
20
1
[개정판] 딥러닝 컴퓨터 비전 완벽 가이드 먼저? 구현하며 배우는 Transformer 먼저?
0
29
1
수업자료
0
23
2
전 강의와 전혀 이어지지가 않음
0
30
1
pytorch local 설치 옵션에 conda 가 없습니다.
0
38
3
pc에서는 괜찮은데 탭으로 들으니 화면확대시 화면이 까맙니다
0
22
1
강의 환경설정 질문
0
39
2
모든 자료 다운로드 누를때마다 똑같은 excel파일이 다운로드 받아짐. 노션 주소 공유되나요?
0
31
2
오토인코더+ Knn, SVC 로 해석하는경우
0
45
3
강의 영상 오류
0
58
1
Embedding 모델 fine tuning 관련 질문
0
71
2
코드에 오타가 있는 것 같습니다
0
53
2
코드 오타가 있는것 같습니다.
0
68
2
트랜스포머 구조에서 블럭갯수에 대해서
0
61
2
RNN에서 출력 y에대해서..
0
58
1
embedding 값 시각화 해보기에서
0
52
1
length_penalty 부분이 없는 것 같습니다.
1
54
1
멀티 헤드 셀프 어텐션에서 Wq, Wk, Wv의 구조 관련 질문
0
79
3
MLM, NSP 구현 여부
0
70
2
bert encoding input_ids.size(1)에 대하여
0
58
2
트랜스포머 학습 강의
0
92
2
Q, K, V 초기 임베딩
0
69
1