작성
·
329
답변 1
0
안녕하십니까, 인사이저 입니다.
올려주신 이슈는 에러가 아닌 경고 문구로서,
'토크나이저를 임의로 설정했기에 token_pattern이 쓰이지 않았다'는 의미입니다.
token_pattern 파라메터는 정규표현식 값을 받아서,
해당 패턴에 부합하는 토큰들만 CountVectorizer에 적용시키라는 기능으로 작동하게 됩니다.
예를들어,
상기의 그림 처럼 't\w+' 정규표현식을 설정하게 되면
토큰 중에 't'로 시작되는 단어들만 카운트 하는 방식으로 벡터라이저가 작동되는 셈입니다.
하지만 저희 코드에서는 토큰 선별하는 작업을 이미 tokenizer에서 처리하도록 설정하였기에,
(토큰 중 문자가 두개 이상인 것만 가져와라 설정)
token_pattern을 굳이 설정할 필요는 없습니다.
즉 경고는 뜨지만 CountVectorizer는 정상 작동한 셈입니다.
해당 문구는 fit() 함수를 다시 한 번 호출하거나,
처음에 CountVectorizer 선언 시 token_pattern 파라메터로 'None' 값을 전달하면 경고가 뜨지 않을 것입니다.
내용 확인해보시고,
추가로 궁금한 사항이 있을 시
언제든 문의 주시기 바랍니다.
감사합니다.