인프런 커뮤니티 질문&답변
작성한 질문수
자연어 처리에서 사용자 지정어를 설정하는방법이 궁금합니다
작성
·
193
0
culture shock 처럼 word_tokenizer를 쓰면 두단어를 분리하는데 하나의 단어처럼 분리하는 파라미터는 없나요?
답변 1
0
권 철민
지식공유자
안녕하십니까,
두단어를 분리하는데 하나의 단어처럼 분리하는 파라미터는 없습니다.
텍스트를 tokenizer에 입력하기 전에 dictionary등을 통해서 두단어를 한단어로 인식해야 하는 단어들을 등록하고, culture shock는 culture_shock로 변환한 뒤에 tokenizer에 입력해야 할 것 같습니다.
감사합니다.