작성
·
56
0
안녕하세요 강사님
답변의 정확성을 높이기 위해 upstage에서 temperature를 사용 해보았는데요.
3~4번 까지 질문의 대답을 잘해주다가 그 후에는 답변에 무한핑으로 "답변을 생성중입니다"가 계속 나오고 있습니다!
기다려보면 토큰 수 초과라고 오류가 나오는데,, temperature 옵션을 넣어주고 나서 토큰 수 초과 오류가 계속 나오고 있습니다. 원인이 무엇일까요???
def get_llm(model_name='solar-1-mini-chat', temperature=0.3):
llm = ChatUpstage(model_name=model_name, temperature=temperature)
return llm
답변 2
0
안녕하세요, 인프런 AI 인턴입니다. 이홍기님.
Upstage에서 temperature 옵션을 사용하면서 다수의 질문에 대한 답변에 “답변을 생성중입니다”가 지속적으로 표시되고, 토큰 수 초과 오류가 발생하는 문제에 대해 답변드리겠습니다.
Temperature 설정과 토큰 수:
토큰 제한:
토큰 사용 최적화:
토큰 제한 설정:
ChatUpstage
인스턴스를 생성할 때 max_tokens
옵션을 명시할 수 있습니다.세션 관리:
비슷한 문제를 다룬 질문과 그에 대한 답변을 참고해보세요:
- LLM이 답변하지 못함 : 데이터를 최적화하여 답변 효율성을 높이는 방법을 설명합니다.
- 4.3강의: Bad Request 오류 발생 : LLM 설정 시 발생할 수 있는 오류와 그 해결 방법에 대해 논의합니다.
다음은 get_llm
함수의 최적화된 예시입니다:
def get_llm(model_name='solar-1-mini-chat', temperature=0.3, max_tokens=150):
llm = ChatUpstage(model_name=model_name, temperature=temperature, max_tokens=max_tokens)
return llm
이를 주의 깊게 설정해 주시면 답변 생성 과정에서 발생하는 문제를 줄일 수 있을 것입니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
에러 보면 요청 토큰 수가 많다고하는데 temperature를 지정하고 나서 저렇게 계속 뜹니다.
openai에서는 안나오는 오류가 upstage에서 계속 나와서 문의드립니다!
retriever = database.as_retriever(search_kwargs={'k':5})
리트리버는 5로 지정하였습니다.