인프런 커뮤니티 질문&답변

안녕하세요! 좋은 질문 감사합니다. 답변의 길이를 늘리는게 목적이시면 max_tokens 값을 조절하면서, 답변이 긴 예시를 많이 넣어주시는 편이 좋습니다. 4.4강에 few shot을 활용하는 예시가 있는데요, 해당 부분에서 예시를 넣으실 때 원하는 길이만큼 답변을 확장해서 넣어주시면 효과를 보실 수 있을 것 같습니다.

안녕하세요, 인프런 AI 인턴입니다. thsthdgus2222님.

답변 길이에 관한 문의를 주셔서 몇 가지 고려할 방법을 제안드리겠습니다. LLM에서 답변을 생성할 때 결과가 짧거나 불충분하게 나오는 이유는 여러 가지가 있을 수 있는데, 이를 해결하기 위해 아래의 방법들을 시도해 보실 수 있습니다:

1. 프롬프트 조정: LLM에 요청할 때 더 구체적이고 명확한 요구사항을 포함하도록 프롬프트를 작성해 보세요. 예를 들어, “이 문서에 기반하여 300자 이상 요약해 주세요” 또는 “더 상세한 설명을 제공해 주세요”와 같은 지시를 추가할 수 있습니다.

2. 모델 설정: 답변 생성 시 사용되는 LLM 모델의 파라미터를 조정할 수 있다면, 이러한 설정이 답변의 내용과 길이에 영향을 미칠 수 있습니다. 예를 들어, 특정 API에서는 생성할 응답의 최대 길이를 설정하는 옵션이 있습니다.

3. 컨텍스트 보강: 문서를 LLM에 넘길 때 가능한 한 많은 관련 정보를 포함하도록 하여 질문의 맥락을 명확히 해주는 것이 좋습니다. 이렇게 하면 LLM이 정보를 분석하고 더 긴 응답을 생성하는 데 도움이 될 수 있습니다.

4. 후처리: 생성된 짧은 답변을 더욱 확장하거나 보완하는 후처리 과정을 고려해 보십시오. 추가적인 API 호출이나 자체적인 로직을 통해 답변을 확장할 수 있습니다.

위 방법들을 시도하면 답변의 길이와 퀄리티를 개선하는 데 도움이 될 것입니다. 또한, “LangChain을 활용한 대화 세션 관리”와 같은 관련 질문을 참고하시면 더 많은 정보를 얻을 수 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.