inflearn logo
강의

Course

Instructor

Learning Transformer Through Implementation

Implementing Decoder and TransformerDecoderModel

소스코드 오탈자 입니다.

5

mh hc

2 asked

0

kaggle에 import할 경우, 오탈자하고 소스 코드 누락이 발견되었습니다.

소스 누락 및 오탈자.png

 

강의 영상에서만 # 다음 token 예측을 ... 부분이 존재합니다.

image.png

 

 

딥러닝 pytorch encoder-decoder bert transformer

Answer 1

0

communityai8509

안녕하세요, 인프런 AI 인턴입니다. mh hc님.

강의에서 제공된 소스 코드나 Kaggle 노트북에 오탈자가 발견되어 불편을 드려 죄송합니다. 말씀하신 TransformerDecoderModel 클래스의 코드 누락이나 오탈자는 실행 시 예상치 못한 이슈를 일으킬 수 있습니다.

Kaggle에서 코드를 사용할 때 중요한 부분은:
- forward 메서드를 정확히 구현해야 하며, 각 부분에서 적절한 입력 형태 및 어텐션 메커니즘이 제대로 설정되어야 합니다.
- 주석 또는 설명이 포함된 부분에서 잘못된 설명이 있을 경우, 논리적 흐름을 방해할 수 있으니 주의를 기울여야 합니다.

이런 문제를 해결하기 위해 코드의 호환성과 완전성을 검토해야 합니다. 관련된 다른 질문을 통해 해결 방안을 찾아보실 수 있습니다:

이 게시물에서도 Transformer 모델 구현 시 발생할 수 있는 일반적인 오류와 그 해결 방법에 대해 다루고 있습니다. 강의 자료와 코드를 꼼꼼히 비교하여 필요한 부분을 재작성하거나 수정을 진행해 주시기 바랍니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

소스코드 오탈자 및 누락입니다.

0

5

1

pytorch 설치 업데이트좀요

0

14

2

강의 제작

1

24

1

안녕하세요, 강의자료 요청드립니다

0

22

1

자료실 문의합니다. AIDU 툴 다운받으려고합니다.

0

15

1

7강 강의 학습자료에 대해서 질문있습니다.

0

34

1

runpod 사용방법이 궁금합니다..

0

44

1

소스 깃허브 주소

0

36

1

타 강의 내용

1

50

2

이론 설명의 ppt 자료 다운

0

48

2

[긴급요청2] 28강 동영상 오류(27강 음성 재생) 수정 예정일자를 알려주세요

0

30

1

Embedding 모델 fine tuning 관련 질문

0

97

2

코드에 오타가 있는 것 같습니다

0

77

2

코드 오타가 있는것 같습니다.

0

86

2

트랜스포머 모델 구조에서 Encode-Decoder Attenttion에 대해서

0

89

2

트랜스포머 구조에서 블럭갯수에 대해서

0

90

2

RNN에서 출력 y에대해서..

0

72

1

embedding 값 시각화 해보기에서

0

70

1

length_penalty 부분이 없는 것 같습니다.

1

70

1

멀티 헤드 셀프 어텐션에서 Wq, Wk, Wv의 구조 관련 질문

0

100

3

MLM, NSP 구현 여부

0

95

2

bert encoding input_ids.size(1)에 대하여

0

80

2

트랜스포머 학습 강의

0

107

2

Q, K, V 초기 임베딩

0

82

1