인프런 커뮤니티 질문&답변

작성한 질문수

[PyTorch] 쉽고 빠르게 배우는 NLP

[실습] Word2Vec 실습 및 GloVe 벡터 활용

train과 test 관련해서 질문드립니다!

작성

259

안녕하세요!

재밌게 잘 보고 있습니다!

제가 착각했는지 모르겠는데, 궁금해서 여쭤봐요.

Train과 Test나눠서 설명해주셨는데요,

앞서 제작된 create_cbow_dataset과 create_skipgram_dataset 함수를 통해서 cbow와 skipgram을 위한 train데이터셋을 구성한 것으로 보입니다!

Test를 하실 때에도 train데이터셋을 넣으셨는데요, 혹시 이렇게 하는 것이 맞는지? 제가 놓치고 있는 것은 있는지 궁금합니다!

퀴즈

머신러닝 학습 과정에서 '학습에 사용되지 않는' 데이터를 통해 모델의 최종 성능을 평가하는 데이터셋은 무엇일까요?

학습 데이터셋 (Training dataset)

검증 데이터셋 (Validation dataset)

테스트 데이터셋 (Test dataset)

전처리 데이터셋 (Preprocessing dataset)

답변 1

지식공유자

안녕하세요, Justin입니다.

본 예제는 일정 문장들로 구성된 데이터를 활용하여 word2vec 작동 원리를 살펴보기 위한 예제입니다.

Test를 할 때에는 당연히 Test 데이터셋을 활용하여 진행하는 것이 맞습니다.

단, 학습이 진행된 이후 실질적으로 어떻게 예측하는지 파악하기 위해 코드를 저렇게 구성하였습니다.

감사합니다.

작성한 질문수