성능 개선 방법
안녕하세요! 좋은 강의 너무 감사드립니다.
강의를 복습 차원에서 다시 한번 듣고 있는데, 몇가지 개선을 해보려고 합니다. 그중에서 채팅 답변 속도를 조금 더 빠르게 해보려고 하는데(몇번 사용을 해보는데 답변 생성 시간이 긴 것 같은 생각이 드네요), 혹시 추천해주실 방안이 있을까요?
답변 1
0
좋은 질문 감사합니다! 답변 속도를 빠르게 하려면 사용하는 토큰의 수를 줄이는 것이 제일 좋은 방법입니다.
Text splitting을 할 때 chunk의 사이즈를 줄인다거나
Retrieval로 가져오는 chunk의 수를 줄인다거나 (다만 chunk의 수를 줄이려면 retrieval 효율이 상당히 개선 되어야겠죠)
프롬프트를 더 짧게 수정하는 방법이 있습니다
그렇지 못한 경우에는 caching을 하는 방법이 있습니다 기존에 사용자가 질의한 내역이 있거나 다른 사용자가 유사한 답변을 한 이력이 있다면 굳이 LLM이 답변을 생성하지 않고 예전에 생성했던 답변을 리턴하는 방식입니다 자세한 방식은 공식문서를 참고해주세요!
https://python.langchain.com/v0.1/docs/modules/model_io/llms/llm_caching/
복습을 하시면 버전 업데이트나 법령 문서 수정 등으로 인해 처음 수강하셨을 때와 달리 에러가 발생할 수도 있어요. 에러는 제보해주시면 최대한 빠른 시일 내에 다시 녹화-편집해서 올려드리겠습니다. 감사합니다!
소득세법 docx 파일 공유 요청건
0
65
1
EXAONE 모델 불러오기 안되는 문제
0
89
2
[5.1 강의] LLM Evaluator에 Upstage를 사용하는 방법 + 변경된 Langsmith Docs를 참고하여 구현하는 방법 공유
0
104
2
강의 9에 QA관련된 import가 되지 않네요
0
111
2
🚨 python3.14 를 쓰고 계시면 chroma 에서 ConfigError 가 발생합니다.
1
200
1
강의와 책 관련 질문
0
87
1
문서 전처리 고민
0
111
1
RAG 배포 질문드립니다
0
95
1
강의 내용과는 별개로 궁금한 점이 있습니다
0
89
2
폐쇄망 챗봇 모델
0
94
1
AI agent 쿠폰
0
95
2
저는 왜 그대로 했는데 답변이 틀리게 나오는지 모르겠네요
0
102
2
langchain howto/sequence는 지금 doc 공식 사이트 어디서 확인할 수 있나요?
1
95
1
new_question에 대한 답 출력
0
74
2
랭체인 라이브러리
0
148
2
[LangGraph를 활용한 AI Agent 개발] 쿠폰 유효기간
0
106
1
postgresql의 pgvector 벡터는 어떤가요?
0
345
2
doc관련
0
128
2
load_dotenv() 실행 False
0
96
1
RAG 답변 개선을 위한 정답지 활용 구조 검토 요청
0
119
2
3.2 from langchain.chains ~ 에서 모듈을 찾지 못할 때.
1
406
2
강의 완료 오류
0
89
1
hub.pull 이슈
0
131
2
[3.3 강의] Upstage를 사용한 RAG 구현 성공기 공유
1
150
1