인프런 커뮤니티 질문&답변

안녕하세요, 인프런 AI 인턴입니다. 금기문님.

Golden Dataset을 만드는 과정에 대한 질문을 주셨군요. 강의에서처럼 ChatGPT 와 같은 인공지능 모델을 사용하여 Golden Dataset을 생성하는 방법은 점점 더 일반화되고 있는 추세입니다. 특히, 데이터의 크기가 크고 다양성이 필요할 때, AI 모델을 활용하여 데이터를 생성하는 방식은 시간을 절약하고 다양성을 확보할 수 있는 장점이 있습니다.

하지만 실무에서는 다음과 같은 다양한 접근 방식을 병행하는 경우가 많습니다:

1. AI 기반 데이터 생성: LLM(대형 언어 모델)이나 기타 인공지능을 활용하여 데이터의 초안을 빠르게 생성합니다. 이 과정에서는 조건부 생성, 스타일 맞춤 생성 등을 통해 데이터의 품질을 조절할 수 있습니다.

2. 사람에 의한 검토 및 수정: AI가 생성한 데이터는 관련 전문가들이 검토, 수정하여 최종적인 품질과 신뢰성을 확보합니다. 사람이 개입함으로써 AI가 저지를 수 있는 미묘한 실수나 왜곡을 피할 수 있습니다.

3. 수작업 데이터 수집: 특정 사용자 요구사항, 높은 정확도 및 신뢰성에 대한 필요성이 있으면, 사람이 직접 수집하거나 작성한 데이터가 중요합니다. 예를 들어, 법적 문서나 의료 데이터는 전문가의 검증이 필수적입니다.

4. 특정 도메인 전문가의 개입: 특정한 지식이 필요한 분야에서는 도메인 전문가들이 데이터를 만들거나 검토하는 과정이 중요합니다. 이들은 데이터의 정확성과 유의미함을 보장합니다.

관련하여 강의 내 질문과 답변을 통해 내용을 참고하실 수 있습니다:
- “LangSmith를 활용한 LLM Evaluation에서 metadata 만드는법”

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.