api응답내용이 한글이 아닌 다른 언어와 섞여서 나옴.

48 asked

0

안녕하세요, 이도원입니다.

Spring AI에서 gpt-4o-mini를 사용할 때 응답에 영어, 중국어, 일본어 같은 한글 이외의 문자가 간헐적으로 섞이는 현상은 Spring AI 자체의 인코딩 문제라기보다 대부분 모델의 생성 특성과 프롬프트 구성 문제입니다.

특히 gpt-4o-mini 같은 다국어 모델은 입력 문맥에 여러 언어가 섞여 있으면 그 언어 패턴을 그대로 따라가는 경향이 있다고 합니다. OpenAI도 일관된 언어 출력을 원한다면 가능하면 프롬프트 전체를 한 언어로 유지하는 것을 권장합니다.

질문은 한글이지만 모델에게 "반드시 한국어로 답하라"는 제약은 없습니다. 따라서 학습 데이터나 내부적으로 참고한 문맥에 따라 다음과 같이 섞일 수 있습니다.
아래와 같이 system() 메서드에서 출력 형식을 지정해 볼 수 있습니다.
String response = chatClient.prompt()
.system("""
당신은 한국어로 답변하는 AI Assistant입니다.
다음 규칙을 반드시 지키세요.
- 모든 답변은 한국어로 작성합니다.
- 영어, 일본어, 중국어 등 다른 언어를 사용하지 않습니다.
- 단, 기술 용어와 고유명사는 원문을 사용할 수 있습니다.
""")
.user(question)
.call()
.content();

추가로 temperature도 일반 질의응답/RAG 서비스라면 0.0~0.3 정도를 사용하고, 창의적 글쓰기 라면 0.5~0.7 정도를 사용해 보는 게 조을 것 같습니다.

추가 문의사항 있으시면 다시 글 남겨 주세요.
감사합니다.