inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

구현하며 배우는 Transformer

TransformerSeq2SeqModel 구현

소스코드 오탈자 및 누락입니다.

96

mh hc

작성한 질문수 2

0

kaggle에 import해보니..

 

image.png

인코더 모델에 self.pos_dropout이 누락 된 것 같습니다.

 

image.png

소스코드 오탈자입니다.

딥러닝 pytorch encoder-decoder bert transformer

답변 2

0

권 철민

안녕하십니까,

음, 강의 영상과 제공된 실습코드가 말씀대로 일부 차이가 있군요. 말씀해 주신 부분 반영해서 해당 실습 코드 수정완료 했습니다.

감사합니다.

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. mh hc님.

강의를 들으시면서 인코더 모델 코드에서 self.pos_dropout의 누락을 발견하신 것 같습니다. TransformerEncoderModel의 초기화 부분에서 self.pos_dropout이 적용되지 않으면, 위치 임베딩에 드롭아웃이 반영되지 않아 모델 성능에 영향을 줄 수 있습니다.

또한, TransformerSeq2SeqModel 코드에서는 부분적으로 오탈자가 있다는 점을 말씀해 주셨습니다. 코드 내의 잘못된 부분은 모델의 정상 작동을 방해할 수 있으므로 정확히 확인하고 수정하셔야 합니다.

아래와 같은 질문 및 답변들이 유사한 내용을 다루고 있을 수 있으니 참고해 보세요:

강의 내용을 정확하게 이해하고 코드에서 오류를 찾는 것은 매우 중요한 과제입니다. 발견하신 문제점에 대해 지식공유자와 공유해 주시면 더 나은 강의를 만들어 나가는 데 큰 도움이 될 것입니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

19강 감정분석 강의처럼 api 돌렸는데

1

49

1

완독 챌린지 도서 인정 방법에 대한 문의

0

58

2

강사님 강의 자료와 코드를 부탁드리고 싶습니다.

0

54

2

16강에서 코드가 계속 안도길래. ai가 고쳐서 일단 supabase에 preditc 한 주가를

1

45

1

16강 구글 colab 에서 코드 실행이 안돼요.

0

61

1

강의자료, 코드 요청드립니다

0

48

2

강의 자료에 대한 질문입니다.

1

60

2

ssh 연결

0

51

1

강의의 난이도 및 속도

1

66

2

20번 강의 LoRA 실습이 에러가 납니다.

0

56

1

소스코드 오탈자 입니다.

0

97

2

Embedding 모델 fine tuning 관련 질문

0

137

2

코드에 오타가 있는 것 같습니다

0

122

2

코드 오타가 있는것 같습니다.

0

117

2

트랜스포머 모델 구조에서 Encode-Decoder Attenttion에 대해서

0

119

2

트랜스포머 구조에서 블럭갯수에 대해서

0

127

2

RNN에서 출력 y에대해서..

0

95

1

embedding 값 시각화 해보기에서

0

92

1

length_penalty 부분이 없는 것 같습니다.

1

95

1

멀티 헤드 셀프 어텐션에서 Wq, Wk, Wv의 구조 관련 질문

0

134

3

MLM, NSP 구현 여부

0

121

2

bert encoding input_ids.size(1)에 대하여

0

104

2

트랜스포머 학습 강의

0

137

2

Q, K, V 초기 임베딩

0

97

1