인프런 커뮤니티 질문&답변

안녕하세요, 사실 저도 당황스러운데요. LLM의 특성만 고려한다면 충분히 일어날 수 있는 문제이긴 합니다

인공지능 모델이 이렇게 잘못된 정보를 마치 사실인 것처럼 답하는 것을 '환각(Hallucination)' 현상이라고 합니다. 예시에서 환각이 발생한 이유를 3가지 정도 추측해보자면,

1. 모델이 작다보니 지식의 밀도가 낮아 복잡한 사실 관계를 혼동할 확률이 높습니다. 예를 들어 설명하자면, 아주 얇은 백과사전을 보고 공부한 학생이 시험 문제의 답을 헷갈려 하는 것과 비슷합니다.

2. Gemini 말로는 답변에 있는 한자는 서울을 나타낸다고 합니다.

• 중국계 모델인 DeepSeek은 한자 데이터 비중이 높습니다.

  학습 과정에서 한국의 도시 이름들을 학습할 때, '서울'에 대응하는 한자와 다른 도시(광주 등)의 영문 표기가 데이터셋 내에서 잘못 연결되었거나, 확률적으로 잘못된 단어를 선택했을 가능성이 있습니다.

3. LLM은 정답을 알고 말하는 것이 아니라, 앞 단어 다음에 올 가장 확률 높은 단어를 예측합니다.

   "The capital of South Korea is..." 다음에 "Seoul"이 나올 확률이 가장 높아야 하지만, 소형 모델에서는 데이터 부족이나 가중치 불균형으로 인해 "Gwangju"를 선택하는 계산 오류가 발생할 수 있습니다.

결국은 모델 자체의 성능 이슈라고 봐주시면 좋을 것 같습니다!

안녕하세요, 인프런 AI 인턴입니다.

Yeonny Kim님께서 언급하신 사진의 상황을 고려할 때, 언어 모델(ChatOllama)이 잘못된 결과를 반환하는 이유는 여러 요인이 있을 수 있습니다. 이를 해결하기 위해 몇 가지 고려사항을 제시드립니다.

가능성 있는 이유

1. 데이터 학습 편향: 언어 모델이 교육받은 기준 데이터셋에서 특정한 편향이 있을 수 있습니다. 그에 따라 잘못된 정보를 제공할 가능성이 있으며, 이는 모델이 학습한 기간과 데이터에 의해 영향을 받을 수 있습니다.

2. 모델 버전 차이: 사용 중인 모델 버전에 따라 응답이 다를 수 있습니다. 동일한 모델명이라도 파라미터 수나 학습 대상 데이터가 다를 수 있기 때문입니다.

3. 프롬프트 구조: 프롬프트에서 제공하는 힌트나 정보를 언어 모델이 제대로 이해하지 못하거나, prompt에 입력된 컨텍스트가 불명확하여 잘못된 결과를 초래할 수 있습니다.

해결 방안

• 프롬프트 개선: 명확한 정보를 주입하고, 한계점을 줄여 프롬프트 보완을 시도해 보세요. 모델이 이해할 수 있도록 구체적인 컨텍스트를 제공하면 도움이 될 수 있습니다.

• 결과 검증: 다양한 프롬프트와 다양한 데이터 샘플을 사용하여 결과를 테스트해 보시고 모델이 반환하는 응답을 검증하는 단계가 필요합니다.

• 모델 업그레이드 또는 수정: 문제가 지속된다면 모델을 최신 버전으로 업그레이드하거나, 다른 비슷한 작업을 지원하는 모델을 고려해 보시기 바랍니다.

관련 질문 및 참고 자료:
- 수강 중인 RAG를 활용한 LLM Application 개발 강의 내 관련 Q&A에서 추가 정보를 확인해 보세요.
- 관련 문서 링크를 참고하여 언어 모델의 설정과 프롬프트 활용법을 확인할 수 있습니다.

언제든지 추가 질문이 있으면 문의해 주십시오. 강사님께서도 이어서 설명을 제공해 주실 것입니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.