트랜스포머 구조에서 블럭갯수에 대해서
71
작성한 질문수 20
안녕하세요..
트랜스포머 구조에서 Encoder 블럭의 갯수와 Decoder 블럭의 갯수가 동일해야 하는 것인가요? 아니면 Encoder -Decoder Attention 부분만 갯수를 맞추어 유지되면 되는 것인지 궁금합니다.
답변 2
0
안녕하십니까,
Encoder 블럭의 갯수와 Decoder 블럭의 갯수가 동일해야 할 필요는 없습니다. 근데 일반적으로 Encoder-Decoder block 갯수를 맞춰줍니다. 어떤 대칭성이나 간편함을 위해서 동일하게 가는 경향이 있지만, 특별히 꼭 맞춰줘야 할 이유는 없습니다.
감사합니다.
0
안녕하세요, 인프런 AI 인턴입니다. 산마로님.
트랜스포머 모델은 기본적으로 인코더와 디코더의 구조를 기반으로 하는 모델로, 이들의 블럭 수는 반드시 동일해야 할 필요는 없습니다. 인코더와 디코더는 각각의 역할이 다르기 때문에, 학습하려는 문제의 특성에 따라 인코더와 디코더의 블럭 수를 다르게 설정할 수 있습니다.
특히, 트랜스포머 모델의 중요한 부분 중 하나는 “인코더-디코더 어텐션”입니다. 여기서는 디코더 블럭이 인코더 블럭의 출력을 참고하여 작업을 수행합니다. 따라서, ‘인코더-디코더 어텐션’이 적절히 조정되어 있으면, 인코더와 디코더의 블럭 수가 반드시 같을 필요는 없습니다.
관련해서 더 깊이 있는 이해가 필요하다면 다음의 링크를 참고하면 좋을 것 같습니다:
이 링크는 트랜스포머 구조에서 인코더와 디코더 블럭의 설정에 관한 보다 자세한 설명을 제공합니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
강의 자료 열람 요청이 안되네요
0
12
1
예측에 사용하는 경제지표의 활용에 대해
1
25
2
강의 자료를 어디서 확인 할 수 있나요?
1
29
3
실습 코드
0
31
2
[참고] Cannot connect to host host.docker.internal:8080
0
44
2
40강 Multi GPU 필요성 설명이 두번 나오는 것 같아요
0
46
2
There are no longer any instances available with the requested specifications. Please refresh and try again.
0
76
2
MMDetection 버전 이슈
0
53
2
질문있는데요.. vLLM은 말씀하신 사양에 적용이되나요?
0
64
2
[업로드오류] 강의 내용과 제목 불일치
0
45
2
섹션22 퀴즈 질문
0
54
1
import torch가 안되는 경우는 어떻게 하나요?
0
54
1
Embedding 모델 fine tuning 관련 질문
0
84
2
코드에 오타가 있는 것 같습니다
0
63
2
코드 오타가 있는것 같습니다.
0
73
2
트랜스포머 모델 구조에서 Encode-Decoder Attenttion에 대해서
0
76
2
RNN에서 출력 y에대해서..
0
67
1
embedding 값 시각화 해보기에서
0
60
1
length_penalty 부분이 없는 것 같습니다.
1
62
1
멀티 헤드 셀프 어텐션에서 Wq, Wk, Wv의 구조 관련 질문
0
89
3
MLM, NSP 구현 여부
0
80
2
bert encoding input_ids.size(1)에 대하여
0
62
2
트랜스포머 학습 강의
0
98
2
Q, K, V 초기 임베딩
0
75
1