자연어 처리에서 사용자 지정어를 설정하는방법이 궁금합니다

21.04.18 21:32 작성 조회수 96

culture shock 처럼 word_tokenizer를 쓰면 두단어를 분리하는데 하나의 단어처럼 분리하는 파라미터는 없나요?

[개정판] 파이썬 머신러닝 완벽 가이드

답변 1

답변을 작성해보세요.

권 철민

2021.04.18

안녕하십니까,

두단어를 분리하는데 하나의 단어처럼 분리하는 파라미터는 없습니다.

텍스트를 tokenizer에 입력하기 전에 dictionary등을 통해서 두단어를 한단어로 인식해야 하는 단어들을 등록하고, culture shock는 culture_shock로 변환한 뒤에 tokenizer에 입력해야 할 것 같습니다.

감사합니다.