인프런 커뮤니티 질문&답변

안녕하세요. 

딥러닝에서도 CounterVectorizer 를 통해 단어를 벡터화 해주고 모델에 사용하기도 합니다.

딥러닝을 사용한다면 텐서플로우, 케라스 등의 라이브러리에서도 벡터화 해주는 기능을 제공하는데 사이킷런에 있는 단어를 토큰화 해주는 작업과 유사합니다. 

말씀해 주신 것 처럼 word2vec을 사용하면 좀 더 좋은 성능을 내기도 합니다. 하지만 미리 학습된 모델이 부족하다면 토큰화 해주었을 때 보다 좋은 성능이 나오지 않는 경우도 있습니다.

그래서 word2vec 그리고 최근 많이 사용하고 있는 bert 에서는 pretrained 모델을 가져다 사용하기도 합니다. 이 때 외부 데이터셋으로 학습된 데이터를 사용하게 되는데요. 이것 또한 미리 학습된 데이터가 예측하고자 하는 데이터와 내용이 많이 다르다면 성능이 꼭 좋게 나온다고 보장할 수 없습니다.