TF-IDF 질문

안녕하십니까, 

 텍스트 분류에서 자동차, 사람과 같이 일반화된 대상을 분류한다면 말씀하신대로 될수도 있습니다. 

하지만 보통은 자동차에 대한 텍스트라도 자동차 보다, 언어적으로 더 많이 반복적으로 사용되는 단어들이 존재하는 경우가 많습니다. 사람에 대한 것을 다루더라도 반복적으로 사람 단어가 많이 나오는 것 보다 더 많이 언어적으로 반복되서 사용되는 단어들이 존재 할 수 있습니다. 

거기다 더해서, 분류는 좀더 구체적인 대상을 목표로 할 수 있습니다. 가령 포르세, BMW, 벤츠, 현대, 기아와 같이 보더 구체적인 대상하는 경우가 더 많습니다.  

피처 벡터화는 분류 타겟값과 동일한 단어를 찾고자 하는게 최종 목표는 아닙니다. 타겟값에 중요하게 영향을 미치는 단어들에 대해서 명확한 가중치를 부여하자는 의미이고, 일반적으로는 count보다는 tf-idf가 더 나은 경우가 좀 더 많습니다. 

물론 TF-IDF, Count 기반중에 뭐가 더 나은지는 해봐야 합니다. 그리고 말씀하신것과 같이 일반화된 대상인 경우 count가 더 나을 수도 있습니다. 하지만 보편적으로 count보다는 TF-IDF가 (경험상으로) 더 나은 성능을 보입니다. 

감사합니다.