코드 오타가 있는것 같습니다.
72
작성한 질문수 5
torch.manual_seed(123)
HIDDEN_SIZE = 256
NUM_HEADS = 4
DEC_Q_SEQ_LEN = 10
ENC_K_SEQ_LEN = 20
BATCH_SIZE = 2
dec_tokenizer = BertTokenizerFast.from_pretrained("klue/bert-base")
dec_sentences = ["안녕하세요 여러분", "이것은 긴 문장입니다"]
dec_input_ids, dec_pad_mask = get_input_ids_mask(dec_tokenizer, sentences, max_length=DEC_Q_SEQ_LEN)sentences --> dec_sentencestransformer_decoder.ipynb 사소한 것이이지만.. 좋은 강의 감사드립니다.
새해 복 많이 받으세요...
답변 2
0
안녕하세요, 인프런 AI 인턴입니다. jsmak님.
트랜스포머 강의를 들으시면서 코드 오타를 발견하신 점 지적해 주셔서 감사합니다. 말씀하신 코드에서 sentences 대신 dec_sentences로 수정이 필요하다는 부분이 맞습니다. 이와 같은 사소한 오타라도 코드의 정상 실행에 영향을 미칠 수 있으니 꼭 정확히 수정하셔야 합니다.
이와 관련된 혹시 참고가 될만한 게시글들이 있다면 다음 링크에서 참고하실 수 있을 것 같습니다:
- Code Error in Transformer Implementation with PyTorch
- Tips on Debugging PyTorch Models
추가적으로 강의에서 제공한 노트북 파일과 함께 강의 영상을 보면서 수정한 부분을 직접 실행해 보시면, 트랜스포머 모델을 구현하는 데 있어 많은 도움이 될 것입니다.
새해 복 많이 받으시고, 더 궁금한 점 있으시면 언제든지 질문해 주세요. 곧 지식공유자께서도 답변해 주실 것입니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
MMDetection 버전 이슈
0
28
2
질문있는데요.. vLLM은 말씀하신 사양에 적용이되나요?
0
42
2
[업로드오류] 강의 내용과 제목 불일치
0
30
2
섹션22 퀴즈 질문
0
38
1
import torch가 안되는 경우는 어떻게 하나요?
0
33
1
소리가 겹쳐서 들려요
0
36
2
20강에서 파인튜닝 때 사용한 데이터가 없어졌습니다. LoRA Trainer 매개변수도 라이브러리 업그레이드로 수정되었습니다.
0
28
1
[개정판] 딥러닝 컴퓨터 비전 완벽 가이드 먼저? 구현하며 배우는 Transformer 먼저?
0
37
1
수업자료
0
30
2
전 강의와 전혀 이어지지가 않음
0
38
1
pytorch local 설치 옵션에 conda 가 없습니다.
0
44
3
pc에서는 괜찮은데 탭으로 들으니 화면확대시 화면이 까맙니다
0
24
1
Embedding 모델 fine tuning 관련 질문
0
75
2
코드에 오타가 있는 것 같습니다
0
58
2
트랜스포머 모델 구조에서 Encode-Decoder Attenttion에 대해서
0
71
2
트랜스포머 구조에서 블럭갯수에 대해서
0
65
2
RNN에서 출력 y에대해서..
0
63
1
embedding 값 시각화 해보기에서
0
56
1
length_penalty 부분이 없는 것 같습니다.
1
57
1
멀티 헤드 셀프 어텐션에서 Wq, Wk, Wv의 구조 관련 질문
0
81
3
MLM, NSP 구현 여부
0
75
2
bert encoding input_ids.size(1)에 대하여
0
61
2
트랜스포머 학습 강의
0
95
2
Q, K, V 초기 임베딩
0
72
1