인프런 커뮤니티 질문&답변

안녕하세요 강사님 강의 잘 보고 있습니다.
다름 아니라 nori 토큰화 과정에서 이해가 안되는 부분이 있어서 질문드립니다.

get /_analyze
{
  "text":"",
  "analyzer":"nori"
}

 간단한 nori analyzer 테스트 쿼리입니다.

해운대 결과

{
  "tokens": [
    {
      "token": "해운",
      "start_offset": 0,
      "end_offset": 2,
      "type": "word",
      "position": 0
    },
    {
      "token": "대",
      "start_offset": 2,
      "end_offset": 3,
      "type": "word",
      "position": 1
    }
  ]
}

해운대로 결과

{
  "tokens": [
    {
      "token": "해운",
      "start_offset": 0,
      "end_offset": 2,
      "type": "word",
      "position": 0
    },
    {
      "token": "대",
      "start_offset": 2,
      "end_offset": 3,
      "type": "word",
      "position": 1
    }
  ]
}

해운대구 결과

{
  "tokens": [
    {
      "token": "해운대",
      "start_offset": 0,
      "end_offset": 3,
      "type": "word",
      "position": 0
    },
    {
      "token": "구",
      "start_offset": 3,
      "end_offset": 4,
      "type": "word",
      "position": 1
    }
  ]
}

해운대, 해운대로 결과에서는 해운대가 해운 + 대 로 토큰화 되었습니다.
해운대구 결과에서는 마찬가지로 해운 + 대 + 구 로 토큰화 될 것이라 예상했지만 해운대 + 구 로 토큰화 되었습니다.
어떤 이유로 이렇게 동작하는지 궁금합니다.