문서 군집화 소개와 실습에서 질문 있습니다.
텍스트를 벡터화하는 과정에 남는 "."을 replace로 지우지않고 소스 코드에서는 따로 for문을 만들어 지웠는데 replace로 지웠을 때와 어떤 차이가 있는지 궁금합니다.
답변 4
1
replace로 . 를 지운다는 의미를 제가 정확히 이해하질 못했습니다. 다른 코드에서 replace를 .로 지운 경우를 보셨는데, 이 코드는 그게 적용이 되지 않은 이유를 물으신 걸로 간주하고 답변 하겠습니다.
위 코드는 replace로 지우는 코드가 아닙니다. 문장을 token화 하는 기준이 되는 puctuation character(. ,comma, space, 개행문자들을) remove_punct_dict 받아서 이들 문자를 기준으로 문장을 토큰화 하는 것입니다(자동으로 token charactor는 지워지게 됩니다)
ntlk.word_tokenize(text_lower().translate(remove_puct_dict) 를 기반으로 word tokenizer 객체를 만들고 이를 LemTokens()에서 호출하여 문장을 token화하여 이 개별 token화된 word들에 대해서 lemmatization을 적용하여 리스트(list)형태로 반환하는 것입니다.
감사합니다.
안녕하세요 열심히 수강중인 학생입니다
0
63
2
정수 인덱싱
0
68
2
넘파이 오류
0
85
2
11강 numpy의 axis 축 질문 드립니다.
0
85
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
79
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
70
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
75
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
64
2
5강 강의 오류가 있어요.
0
84
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
72
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
69
3
파이썬 다운그레이 후 사이킷런 재설치
0
117
2
좋은 강의 감사합니다.
0
72
2
scoring 함수 음수값
0
67
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
100
2
분류 평가 정확도 예측
0
77
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
99
1
카카오톡 채널 있나요
0
107
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
189
2
pca 스케일링 관련하여 질문드립니다.
0
100
2
주피터 대신 구글 코랩
0
172
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
148
2
실루엣 스코어..
0
86
2
float64 null 값 처리 방법
0
103
2