Decoder 의 Output Probablilities 계산하는 부분 RNN과 관련하여 질문드립니다.

트랜스포머 모델은 원래는 시퀀스의 전체를 한 번에 처리하는 모델이므로 기술적으로는 'time-step'이라는 개념이 없습니다. 즉, RNN처럼 순차적으로 정보를 처리하지 않고, 입력 시퀀스의 모든 단어를 동시에 처리합니다. 이는 트랜스포머 모델이 모든 입력 단어들 사이의 관계를 동시에 학습할 수 있게 하므로, 복잡한 문맥적 관계를 파악하는데 유리합니다.

그러나 이러한 방식은 트레이닝 단계에서는 잘 작동하지만, 테스트(또는 추론) 단계에서는 문제가 될 수 있습니다. 왜냐하면 테스트 단계에서는 아직 생성되지 않은 미래의 단어들을 참조할 수 없기 때문입니다. 이 문제를 해결하기 위해, 테스트 단계에서는 디코더가 이전에 생성된 단어들만 참조하도록 'auto-regressive' 방식을 사용합니다. 즉, 첫 번째 단어를 생성한 후, 이를 디코더의 입력으로 다시 사용하여 두 번째 단어를 생성하고, 이 과정을 반복합니다. 이 방식은 실제로는 'time-step'이 있는 것과 유사하게 작동합니다.

따라서 트랜스포머의 디코더에서도 RNN과 유사하게, 각 단계에서 vocab 사전에 대한 확률 분포가 출력되고, 이를 기반으로 최선의 단어(예: argmax나 beam search를 사용)를 선택합니다. 디코더는 이 단어를 다음 단계의 입력으로 사용하고, 이 과정을 시퀀스의 끝에 도달할 때까지 반복합니다. 이렇게 생성된 단어 시퀀스가 최종 번역 결과입니다.

좋은 질문 감사합니다.