인프런 커뮤니티 질문&답변

일부 print함수를 통해서 값을 확인하려고 했던 부분이 있는데, 같이 보시는게 좋을까 해서 그대로 었습니다.

사전에 제가 학습을 잘 못 시킨거라면, 전체적으로 다시 한번 강의를 보면서 새롭게 복습해보겠습니다.

감사합니다.

작성코드 :

def decode_sequence(input_seq):
  states_value = encoder_model.predict(input_seq, verbose=0)
  target_seq = np.zeros((1,1))
  target_seq[0,0] = word2idx_kor['<sos>']
  eos = word2idx_kor['<eos>']
  output_sentence = []
  for _ in range(max_len_kor):
    print('----------------------------')
    print( 'target_seq[0,0]: ',target_seq[0,0])
    output_tokens, h, c = decoder_model.predict([target_seq] + states_value, verbose=0)
    idx = np.argmax(output_tokens[0,0, :])
    print( idx, ' vs. ' , eos)
    if eos == idx:
      break;
    if idx > 0:
      word = tokenizer_kor.index_word[idx]
      print( 'word : ',word)
      output_sentence.append(word)
      print( 'output_sentence : ',output_sentence)

    target_seq[0,0] = idx
    states_value = [h,c]
  return ' '.join(output_sentence)

for _ in range(2):
  print('\nSTART\n')
  i = np.random.choice(len(eng_texts))
  input_seq = encoder_inputs[i:i+1]
  print('Input[',i,']:', eng_texts[i])
  translation = decode_sequence(input_seq)
  print('Translation : ', translation)
  print('\nEND')

출력결과 :

현재 코드만으로는 정확히 원인을 알 수 없고 훈련 과정의 코드를 같이 보아야 할 것 같습니다. 다음의 코드를 추가하면 원인 파악이 거의 될 것 같은데

============== 추가 ====================

print("IDs -> SOS:", SOS_ID, "EOS:", EOS_ID, "PAD:", PAD_ID)

print("First input to decoder:", int(target_seq[0,0]))

print("max_len_kor:", max_len_kor)

=========================================

SOS==EOS거나 SOS가 None이면 바로 원인 확정이고, PAD와 특수토큰이 섞여 있으면 재토크나이징/토크나이저 재생성이 필요할 것 같습니다.

max_len_kor가 1이라면 당연히 한 토큰만 나옵니다. 이 값도 한번 확인 바랍니다. 감사합니다.

답변이 좀 늦었습니다.

알려주신데로 추가 프린터 문을 넣었는데, 문제는
print("IDs -> SOS:", SOS_ID, "EOS:", EOS_ID, "PAD:", PAD_ID)
변수에 대한 선언이 없기 때문에 일단 다른 LLM 툴을 통해서 의도하신바를 유추해서 아래와 같이 코드를 넣었습니다.
틀릴지 모르겠지만 확인이 가능하시면 부탁드립니다.
pad_id 의 경우는 어떻게 확인해야 될지 몰라서 일단 넣지 않았습니다.
이번에 혹시 답변을 주시면 마지막으로 확인해보고 제가 공부가 부족해서 그런 부분으로 마무리 하겠습니다.
감사합니다.

작성코드(수정) :

def decode_sequence(input_seq):
  states_value = encoder_model.predict(input_seq, verbose=0)
  target_seq = np.zeros((1,1))
  target_seq[0,0] = word2idx_kor['<sos>']
  eos = word2idx_kor['<eos>']


  # 필요한 ID 값들을 미리 변수로 받아오기 (가독성 및 확인 용이)
  sos_id = word2idx_kor['<sos>']
  eos_id = word2idx_kor['<eos>']
  # ==================== 강사님 의도에 맞게 수정한 코드 ====================
  # 루프 시작 전에 특수 토큰 ID들이 올바른지 한 번만 출력해서 확인
  print(f"IDs -> SOS: {sos_id}, EOS: {eos_id}") 
  print(f"First input to decoder: {int(target_seq[0, 0])}")
  print(f"max_len_kor: {max_len_kor}")
  print('----------------------------')
  # ======================================================================

  output_sentence = []
  for _ in range(max_len_kor):
    print('----------------------------')
    print( 'target_seq[0,0]: ',target_seq[0,0])
    output_tokens, h, c = decoder_model.predict([target_seq] + states_value, verbose=0)
    idx = np.argmax(output_tokens[0,0, :])
    print( idx, ' vs. ' , eos)
    if eos == idx:
      break;
    if idx > 0:
      word = tokenizer_kor.index_word[idx]
      print( 'word : ',word)
      output_sentence.append(word)
      print( 'output_sentence : ',output_sentence)

    target_seq[0,0] = idx
    states_value = [h,c]  
  return ' '.join(output_sentence)

for _ in range(2):
  print('\nSTART\n')
  i = np.random.choice(len(eng_texts))
  input_seq = encoder_inputs[i:i+1]
  print('Input[',i,']:', eng_texts[i])
  translation = decode_sequence(input_seq)
  print('Translation : ', translation)
  print('\nEND')

출력결과 :

작성하신 코드 말고 교재 원본 파일을 돌려도 동일한 결과가 나오시나요? 만약 교재 원본과 작성하신 코드의 결과가 다르게 나온다면 두 코드 간에 다른 부분을 찾으시면 그 것이 원인이겠고, 교재 원본을 돌려도 마찬가지로 한글자 나오고 끝나는 결과가 나오시면 환경 문제가 아닌가 생각합니다. 혹시나 하여 방금 Google Colab 에서 다시 작업을 돌려 보았는데 정상적으로 출력되는 것을 확인하였습니다. 혹시 차이점을 발견 못하시겠다면 전체 코드 파일을 제 이메일로 보내 주시면 제가 도와드리겠습니다. trimurti@naver.com 으로 전체 노트북 코드 파일 보내주세요.

아 네, 댓글로 알려주신 대로 교재 원본 파일에는 정상적으로 동작하네요..
아무래도 제가 코드를 잘 못 적은 것이나 착각을 한 것 같습니다.
다시 한 번 재검토해보고 아무래도 모르겠으면, 알려주신 메일로 코드와 문의 드리겠습니다.
적극적으로 확인 해주셔서 너무 감사드립니다! 😊