inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

구현하며 배우는 Transformer

TransformerSeq2SeqModel 구현

소스코드 오탈자 및 누락입니다.

2

mh hc

작성한 질문수 2

0

kaggle에 import해보니..

 

image.png

인코더 모델에 self.pos_dropout이 누락 된 것 같습니다.

 

image.png

소스코드 오탈자입니다.

딥러닝 pytorch encoder-decoder bert transformer

답변 1

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. mh hc님.

강의를 들으시면서 인코더 모델 코드에서 self.pos_dropout의 누락을 발견하신 것 같습니다. TransformerEncoderModel의 초기화 부분에서 self.pos_dropout이 적용되지 않으면, 위치 임베딩에 드롭아웃이 반영되지 않아 모델 성능에 영향을 줄 수 있습니다.

또한, TransformerSeq2SeqModel 코드에서는 부분적으로 오탈자가 있다는 점을 말씀해 주셨습니다. 코드 내의 잘못된 부분은 모델의 정상 작동을 방해할 수 있으므로 정확히 확인하고 수정하셔야 합니다.

아래와 같은 질문 및 답변들이 유사한 내용을 다루고 있을 수 있으니 참고해 보세요:

강의 내용을 정확하게 이해하고 코드에서 오류를 찾는 것은 매우 중요한 과제입니다. 발견하신 문제점에 대해 지식공유자와 공유해 주시면 더 나은 강의를 만들어 나가는 데 큰 도움이 될 것입니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

소스코드 오탈자 입니다.

0

4

1

pytorch 설치 업데이트좀요

0

14

2

강의 제작

1

21

1

안녕하세요, 강의자료 요청드립니다

0

19

1

자료실 문의합니다. AIDU 툴 다운받으려고합니다.

0

15

1

7강 강의 학습자료에 대해서 질문있습니다.

0

34

1

runpod 사용방법이 궁금합니다..

0

44

1

소스 깃허브 주소

0

36

1

타 강의 내용

1

50

2

이론 설명의 ppt 자료 다운

0

48

2

[긴급요청2] 28강 동영상 오류(27강 음성 재생) 수정 예정일자를 알려주세요

0

30

1

Embedding 모델 fine tuning 관련 질문

0

97

2

코드에 오타가 있는 것 같습니다

0

77

2

코드 오타가 있는것 같습니다.

0

86

2

트랜스포머 모델 구조에서 Encode-Decoder Attenttion에 대해서

0

89

2

트랜스포머 구조에서 블럭갯수에 대해서

0

90

2

RNN에서 출력 y에대해서..

0

72

1

embedding 값 시각화 해보기에서

0

70

1

length_penalty 부분이 없는 것 같습니다.

1

70

1

멀티 헤드 셀프 어텐션에서 Wq, Wk, Wv의 구조 관련 질문

0

100

3

MLM, NSP 구현 여부

0

95

2

bert encoding input_ids.size(1)에 대하여

0

80

2

트랜스포머 학습 강의

0

107

2

Q, K, V 초기 임베딩

0

82

1