fit_transform에 대해 질문 드립니다.

https://radish-greens.tistory.com/3

https://m.blog.naver.com/PostView.nhn?blogId=pica4star&logNo=221409611243&proxyReferer=https:%2F%2Fwww.google.com%2F

이 블로그를 참고해서 CountVectorizer에 대해 알 수 있었습니다!

안녕하세요.

자연어처리는 아쉽게도 난이도가 좀 있는 편이에요. 

어려워 하시는 분들이 많이 계셔서 이 강의도 내년 상반기에는 일부 업데이트 계획이 있습니다.

아래 내용은 제가 파이콘이라는 곳에서 발표했던 내용의 일부인데요.

참고해 주신 링크처럼 CountVectorizer는 텍스트 데이터를 벡터화 할때 사용해요.

해당 단어가 문장에서 얼마나 빈번하게 등장하는지를 카운트 하게 되는데 이 때 순서가 무시되는 단점이 있어요.

그래서 그걸 보완하게 된게 n-gram 인데 단어를 여러개 묶어서 사용하게 되면 순서가 무시되는 것을 어느정도 보완할 수 있어요.

또, 벡터화 할 때의 단점이 많이 등장하는 단어가 빈도수가 높아져서 불용어(은는이가 등의 조사나 나, 너 등의 대명사)가 많으면 문장의 뜻을 이해하기 어렵기 때문에 전체 문서에서는 자주 등장하지는 않지만 특정 문서에서 자주 등장하는 단어에 가중치를 주는 것을 TF-IDF 라는 방법을 사용해서 개선합니다.

그리고 제 유튜브 콘텐츠 중에 댓글 분석 콘텐츠가 있는데 이 강좌와 함께 보시면 좋을거 같아요.

[ 댓글 수백 수천개 분석하기?! [1/5] 이벤트 데이터 크롤링 feat. 인프런 새해 다짐 이벤트 - YouTube](https://www.youtube.com/watch?v=OUSwQk79H8I&list=PLaTc2c6yEwmohRzCxWQqJ7Z9aqc-sQ5gC)