• 카테고리

    질문 & 답변
  • 세부 분야

    자연어 처리

  • 해결 여부

    미해결

설문조사 주관식 데이터 처리방법 문의

24.02.01 09:22 작성 24.02.01 09:22 수정 조회수 217

0

이전에 고객 설문데이터를 가지고 보고서를 만들었던 경험이 있습니다.

객관식은 전체 응답기준으로 엑셀로 매크로를 이용하여 그래프를 만들면 되는데

문제는 주관식입니다.

주관식은 요약을 보고서에 담아야 되어서, 전체를 읽어보고 전체 의견요약을 하고,

긍정의견, 부정의견을 나누고 그에 대한 요약을 작성을 일일이 사람이 전체를 읽어서 처리를 합니다.

건수가 작으면 혼자 하면 되는데 20만건 데이터 처리는 혼자는 하기 힘들고 여러명이 나눠서 해야만 됩니다.

 

데이터가 많을 경우 ChatGPT로 요약을 해보니 최대 처리할 수 있는 데이터 크기가 32k까지 밖에 처리가 되지 않아 몇%만 샘플링해서 요약하는 방법밖에 없었습니다. 그럼 샘플링에 따라서 고객의견이 정확하게 반영이 되 지않아 결국은 여러명이 수작업으로 진행했습니다.

 

자연어 처리로 자동으로 긍정, 부정을 분류까지는 가능할것도 같은데 분류된 데이터 가지고 긍정의견의 요약, 부정의견의 요약을 딥러닝으로 해결이 가능할까요?

아니면 어떤 좋은 방법이 있을까요?

답변 1

답변을 작성해보세요.

0

안녕하세요.

여러가지 방법이 있을 수 있습니다.

랭체인과 같은 도구를 사용할 수도 있고요. 이건 따로 배워야 하기 때문에 간단한 API를 사용하고자 한다면

한번에 처리 되지 않는 데이터를 나눠서 반복문으로 API를 호출하며 처리해 보는 건 어떨지 싶습니다.

여러 사람이 나눠 하는 일을 코드로 작성해서 API 호출을 통해 요약하거나 레이블링 해보는 것을 추천합니다.

감사합니다.