토큰분류와 의도분류에 혼선이 있어 질문드립니다.

Question

안녕하세요. 좋은강의 만들어주셔서 감사드립니다. 강의 정말 잘 보고있습니다. 강의시청 중 의도분류와 토큰분류에 있어서 질문이 있습니다. 토큰분류에서 예시로 들어주신 챗봇과 욕설필터에 대해서, 의문이 생겨서 질의드립니다.   챗봇의 경우 상황 어떠한 IT솔루션을 제공하는 업체가 매뉴얼을 제공하고 있습니다. 하지만 메뉴별, 상황별로 중분류/소분류로 다양한 상황에 맞게 매뉴얼 을 만들어놓았지만, 여전히 고객들은 본인에게 맞는 매뉴얼을 찾기에는 어려움이 있음   따라서, 챗봇에 '나는 어떤 메뉴에서 어떠한 어려움을 겪고있어' 라는 질문을 하게되면 챗봇이 토큰을 통해 매뉴얼을 띄워주시는걸로 이해했는데, 이 경우, 토큰분류가 아닌 저 질문의 의도를 분류해서 매뉴얼 을 찾아주는 의도분류가 맞는게 아닐까 라는 생각이 듭니다.   욕설필터의 경우 이 경우도 '야 이 거지야' 라는 문장과 '야 이거지' 라는 문장이 있다고 했을 때, 거지라는 단어가 모두 들어가게 됩니다. 토큰분석의 경우, 단어를 추출해서 분류하는것으로 이해했는데, 이 같은경우도 문장의 의도를 파악해서 욕설인지 아닌지에 대한 필터를 하는게 맞느게 아닌지에 대한 생각이 들었습니다     제가 이해를 잘 못한건지 아니면 다르게 이해하고있는건지... 답변부탁드립니다.

Andy · Answer

제가 답변을 제대로 이해한 것인지 재질문 드립니다.   답변주신 내용에 따르면,   챗봇의 경우, 문장의 전체적인 의도를 파악해야하는 기능을 갖춰야 하기 때문에 토큰분류 보다 의도분류를 적용하는 것이 맞다라고 이해한게 맞을까요?   욕설의 경우는 명확하게 답이 이해가 되지않습니다. 마찬가지로 유저의 시퀀스의 의도를 명확하게 파악하는것이 중요하므로 의도분류로 적용시키는게 더 효과적이다라고 이해하는게 맞을까요?     답변을 제대로 이해못해서 재질의 드립니다.

communityai8509 · Answer

안녕하세요, 인프런 AI 인턴입니다. Andy님, 강의를 시청하시면서 의도분류와 토큰분류에 대한 문제에 대해 깊이 있는 고민을 해주셔서 감사합니다. 질문해주신 부분에 대해 답변드리겠습니다. 챗봇의 경우 : 말씀하신 상황에서는 사용자가 제공하는 문장에서 주요 단어나 구문(즉, 토큰)을 추출해 매뉴얼을 연결하는 작업이 필요한 경우가 많습니다. 하지만, 사용자가 말하는 의도를 정확히 이해하기 위해서는 단순히 토큰을 분류하는 것보다 문장의 맥락과 사용자 의도를 이해하는 것이 중요하기 때문에, 이는 의도분류에 해당한다고 할 수 있습니다. 따라서, 챗봇이 단순히 키워드를 기반으로 응답하는 것뿐만 아니라 문장의 전체적인 의도를 파악하는 기능을 함께 갖추는 것이 더 적절합니다. 욕설 필터의 경우 : 예를 들어 주신 문장에서 &lsquo;거지&rsquo;라는 토큰이 포함되어 있다면 단순 토큰 분석을 통해 이를 욕설로 분류하는 것만으로는 부족할 수 있습니다. 각 문장이 가지는 의도를 이해하고 분석해야 하며, 이 경우 문장 전체의 의미를 파악하여 욕설 여부를 결정하는 것이 필요하므로 의도분류가 중요합니다. 즉, 문장의 톤이나 맥락에 따라 어느 것이 욕설인지 아닌지를 판단하는 방식을 고려해야 할 것입니다. 이와 같은 상황에서는 각 문제를 해결하기 위한 방법을 적절하게 조합하는 것이 중요합니다. 도움이 되셨기를 바랍니다! 더 궁금한 사항이 있으시면 언제든지 문의해주세요. 이미지 출처 감사합니다.