train과 test 관련해서 질문드립니다!

Question

안녕하세요!

재밌게 잘 보고 있습니다!

제가 착각했는지 모르겠는데, 궁금해서 여쭤봐요.

Train과 Test나눠서 설명해주셨는데요,

앞서 제작된 create_cbow_dataset과 create_skipgram_dataset 함수를 통해서 cbow와 skipgram을 위한 train데이터셋을 구성한 것으로 보입니다!

Test를 하실 때에도 train데이터셋을 넣으셨는데요, 혹시 이렇게 하는 것이 맞는지? 제가 놓치고 있는 것은 있는지 궁금합니다!

Answer

안녕하세요, Justin입니다.

본 예제는 일정 문장들로 구성된 데이터를 활용하여 word2vec 작동 원리를 살펴보기 위한 예제입니다.

Test를 할 때에는 당연히 Test 데이터셋을 활용하여 진행하는 것이 맞습니다.

단, 학습이 진행된 이후 실질적으로 어떻게 예측하는지 파악하기 위해 코드를 저렇게 구성하였습니다.

감사합니다.