TF-IDF 질문
240
작성한 질문수 52
안녕하세요.
TF-IDF 질문 드립니다!
강의 11분56초 에 나오는 내용 보면
언어 특성상 문장에서 자주 사용될 수 밖에 없는 단어까지 높은 값을 부여한다고 했는데
만약 TF-iDF 벡터화를 사용해서 text classification을 한다고 하면
class에 따라 자주 사용될 수 밖에 없는 단어들이 있을 것이라고 생각됩니다
예를 들어 자동차 사람을 구분한다고 하면
입력되는 문장에서 자동차 라는 키워드가 많이 추출될 것이라 예상됩니다!
이럴 떄는 TF-IDF 벡터화를 사용하지 않고 Count 벡터화를 사용하는게 좋은게 맞나요??
좋은 강의 감사드립니다!
답변 1
1
안녕하십니까,
텍스트 분류에서 자동차, 사람과 같이 일반화된 대상을 분류한다면 말씀하신대로 될수도 있습니다.
하지만 보통은 자동차에 대한 텍스트라도 자동차 보다, 언어적으로 더 많이 반복적으로 사용되는 단어들이 존재하는 경우가 많습니다. 사람에 대한 것을 다루더라도 반복적으로 사람 단어가 많이 나오는 것 보다 더 많이 언어적으로 반복되서 사용되는 단어들이 존재 할 수 있습니다.
거기다 더해서, 분류는 좀더 구체적인 대상을 목표로 할 수 있습니다. 가령 포르세, BMW, 벤츠, 현대, 기아와 같이 보더 구체적인 대상하는 경우가 더 많습니다.
피처 벡터화는 분류 타겟값과 동일한 단어를 찾고자 하는게 최종 목표는 아닙니다. 타겟값에 중요하게 영향을 미치는 단어들에 대해서 명확한 가중치를 부여하자는 의미이고, 일반적으로는 count보다는 tf-idf가 더 나은 경우가 좀 더 많습니다.
물론 TF-IDF, Count 기반중에 뭐가 더 나은지는 해봐야 합니다. 그리고 말씀하신것과 같이 일반화된 대상인 경우 count가 더 나을 수도 있습니다. 하지만 보편적으로 count보다는 TF-IDF가 (경험상으로) 더 나은 성능을 보입니다.
감사합니다.
모델 서빙과 관련된 강좌가 출시되는지 질문드립니다.
0
56
2
안녕하세요 열심히 수강중인 학생입니다
0
93
2
정수 인덱싱
0
86
2
넘파이 오류
0
116
2
11강 numpy의 axis 축 질문 드립니다.
0
109
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
98
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
82
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
83
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
75
2
5강 강의 오류가 있어요.
0
90
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
81
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
79
3
파이썬 다운그레이 후 사이킷런 재설치
0
131
2
좋은 강의 감사합니다.
0
82
2
scoring 함수 음수값
0
77
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
108
2
분류 평가 정확도 예측
0
90
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
114
1
카카오톡 채널 있나요
0
119
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
195
2
pca 스케일링 관련하여 질문드립니다.
0
109
2
주피터 대신 구글 코랩
0
184
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
156
2
실루엣 스코어..
0
93
2