Encoder Decoder 부터 Simple Chatbot까지 이상답변
218
작성한 질문수 1
안녕하세요 강사님! Encoder Decoder와 Simple Chatbot 노트북 실행시 아래 스크린샷처럼 이상한 문장들만 출력되던데, 해결책이 있을까요?
답변 1
1
코드 개선을 위해서 다음 두가지를 수정 했습니다.
1) optimizer 를 rmsprop 에서 adam 으로 변경하고 learning rate 를 0.001 로 설정 했습니다.
model_teacher_forcing.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.001), loss='sparse_categorical_crossentropy', metrics=['accuracy'])
2) epoch 을 300 으로 증가하여 학습 시간을 늘렸습니다.
3) decode_sequence 함수에서 다음을 수정하여 확률 분포를 정규화 했습니다.
# 온도 조절 적용
output_probs = np.log(output_probs + 1e-10) / temperature
output_probs = np.exp(output_probs) / np.sum(np.exp(output_probs))
수정 결과 입니다.
수정한 내용을 github 의 source code 에 반영했으니 참고하시기 바랍니다.
좋은 질문 감사합니다.
트랜스포머 FeedForward 관련 질문
0
69
2
파라미터갯수에대한질문(030_IMDB_movie_reviews)
0
60
1
Transformer 번역기 분석 - Part1 따라치기 질문
0
69
2
Encoder-Decoder 질문 드립니다.
0
71
2
model 코드 부분을 따라하다가 전 값이 이상해서요
0
83
1
서적 추천
0
75
1
NLP와 LLM의 차이점
0
550
2
encoder-decoder model 질문입니다.
1
73
1
구글번역기에 대해서 궁금한점이 있습니다.
0
122
2
로드맵에대해서...
0
119
2
Bag of Word (BOW)와TF-IDF시 대명사인 I의행방
0
94
2
강의 교재 최신화 요청
0
142
4
self-attention에서 Wq, Wk, Wv weight matrix 학습과정 질문드립니다.
0
189
3
코랩 환경 설정할 때 질문이 있습니다.
0
248
1
transformer 훈련 마친 모델 공유 가능할까요?
0
216
2
130_Transformer.ipynb transformer.summary() 에러
0
182
2
강사님 궁금한게 있어 문의 드립니다.
0
128
1
강사님 Tensorflow 실습코드 중 궁금한 점이 있습니다.
0
124
1
패딩과 관련한 질문 드립니다.
0
171
1
seq2seq 모델
0
323
1
강의 내용중 질문있습니다.
0
197
1
Transformer 번역기 부분에 대해 질문 있습니다.
0
212
1
320_Custom_Sentiment_Analysis_navermovie.ipynb 실행 시 오류 납니다.
0
314
2
201_classify_text_with_bert_tfhub_Kor.ipynb 오류
0
342
2