트랜스포머 구조에서 블럭갯수에 대해서
61
작성한 질문수 20
안녕하세요..
트랜스포머 구조에서 Encoder 블럭의 갯수와 Decoder 블럭의 갯수가 동일해야 하는 것인가요? 아니면 Encoder -Decoder Attention 부분만 갯수를 맞추어 유지되면 되는 것인지 궁금합니다.
답변 2
0
안녕하십니까,
Encoder 블럭의 갯수와 Decoder 블럭의 갯수가 동일해야 할 필요는 없습니다. 근데 일반적으로 Encoder-Decoder block 갯수를 맞춰줍니다. 어떤 대칭성이나 간편함을 위해서 동일하게 가는 경향이 있지만, 특별히 꼭 맞춰줘야 할 이유는 없습니다.
감사합니다.
0
안녕하세요, 인프런 AI 인턴입니다. 산마로님.
트랜스포머 모델은 기본적으로 인코더와 디코더의 구조를 기반으로 하는 모델로, 이들의 블럭 수는 반드시 동일해야 할 필요는 없습니다. 인코더와 디코더는 각각의 역할이 다르기 때문에, 학습하려는 문제의 특성에 따라 인코더와 디코더의 블럭 수를 다르게 설정할 수 있습니다.
특히, 트랜스포머 모델의 중요한 부분 중 하나는 “인코더-디코더 어텐션”입니다. 여기서는 디코더 블럭이 인코더 블럭의 출력을 참고하여 작업을 수행합니다. 따라서, ‘인코더-디코더 어텐션’이 적절히 조정되어 있으면, 인코더와 디코더의 블럭 수가 반드시 같을 필요는 없습니다.
관련해서 더 깊이 있는 이해가 필요하다면 다음의 링크를 참고하면 좋을 것 같습니다:
이 링크는 트랜스포머 구조에서 인코더와 디코더 블럭의 설정에 관한 보다 자세한 설명을 제공합니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
소리가 겹쳐서 들려요
0
17
2
20강에서 파인튜닝 때 사용한 데이터가 없어졌습니다. LoRA Trainer 매개변수도 라이브러리 업그레이드로 수정되었습니다.
0
20
1
[개정판] 딥러닝 컴퓨터 비전 완벽 가이드 먼저? 구현하며 배우는 Transformer 먼저?
0
28
1
수업자료
0
23
2
전 강의와 전혀 이어지지가 않음
0
29
1
pytorch local 설치 옵션에 conda 가 없습니다.
0
37
3
pc에서는 괜찮은데 탭으로 들으니 화면확대시 화면이 까맙니다
0
22
1
강의 환경설정 질문
0
38
2
모든 자료 다운로드 누를때마다 똑같은 excel파일이 다운로드 받아짐. 노션 주소 공유되나요?
0
31
2
오토인코더+ Knn, SVC 로 해석하는경우
0
45
3
강의 영상 오류
0
57
1
강의자료에 소스코드가 없는데요
0
47
3
Embedding 모델 fine tuning 관련 질문
0
71
2
코드에 오타가 있는 것 같습니다
0
53
2
코드 오타가 있는것 같습니다.
0
68
2
트랜스포머 모델 구조에서 Encode-Decoder Attenttion에 대해서
0
67
2
RNN에서 출력 y에대해서..
0
57
1
embedding 값 시각화 해보기에서
0
50
1
length_penalty 부분이 없는 것 같습니다.
1
53
1
멀티 헤드 셀프 어텐션에서 Wq, Wk, Wv의 구조 관련 질문
0
79
3
MLM, NSP 구현 여부
0
69
2
bert encoding input_ids.size(1)에 대하여
0
58
2
트랜스포머 학습 강의
0
92
2
Q, K, V 초기 임베딩
0
69
1