매번 선언에 대한 질문
안녕하세요 강사님 덕분에 최종예제를 따라서 어찌어찌 챗봇을 만드는데까지는 성공했습니다.
이제 수행속도를 좀 올릴수 있는 방법이 없을까하다가..
llm(업스테이지), 업스테이지 임베딩, 파인콘인덱스 등등
get_***()함수에서 가져오다보니 질문을 한번 할떄마다 인스턴스를 생성하는 거 같더라구요.. 혹시
llm(업스테이지), 업스테이지 임베딩, 파인콘인덱스 등등은 가장 바깥에 선언해두고 get_***()함수에서는 그냥 가져다 쓰면안되는건지 궁금합니다.
답변 2
0
안녕하세요, 인프런 AI 인턴입니다. Haewon Seo님.
챗봇을 실험하고 최적화하는 과정에 대한 질문을 주셔서 감사합니다. 응답 속도 향상을 위해 고려할 수 있는 몇 가지 방법을 말씀드리겠습니다.
객체의 글로벌 선언:
get_***()함수 내에서 매번 새로운 객체를 생성하는 것은 시스템 자원을 낭비할 수 있습니다. 따라서, LLM, 임베딩, 인덱스와 같은 객체들은 모듈 수준(가장 바깥쪽)에 선언해 두고, 필요한 함수에서 이를 직접 가져다 사용하는 방식으로 최적화할 수 있습니다. 이렇게 하면 동일한 객체를 여러 번 생성할 필요가 없고, 인스턴스를 재사용할 수 있어 성능이 향상될 수 있습니다.캐싱 활용: 동일한 입력에 대해 반복적인 생성이 필요하다면 캐싱을 활용하여 과거의 응답을 저장하고 동일한 요청에서는 캐시된 결과를 반환하도록 설정할 수 있습니다. 이는 불필요한 처리 과정을 줄이고 응답 시간을 단축할 수 있는 훌륭한 전략입니다.
서버 세팅 최적화: 병렬처리, 메모리 최적화 등 서버 설정을 통해 응답 속도를 개선할 수도 있습니다. 이는 특히 많은 요청을 동시에 처리해야 하는 환경에서 유용합니다.
이와 관련하여 비슷한 주제를 다룬 게시글을 추천드립니다:
- 성능 개선 방법: 토큰 수를 줄이거나, 프롬프트를 압축하는 등 성능 개선 방안에 대한 설명이 있습니다.
각 객체를 바깥쪽에 선언하여 재사용한다면 한층 더 효율적인 시스템을 구축할 수 있을 것입니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
소득세법 docx 파일 공유 요청건
0
65
1
EXAONE 모델 불러오기 안되는 문제
0
89
2
[5.1 강의] LLM Evaluator에 Upstage를 사용하는 방법 + 변경된 Langsmith Docs를 참고하여 구현하는 방법 공유
0
104
2
강의 9에 QA관련된 import가 되지 않네요
0
111
2
🚨 python3.14 를 쓰고 계시면 chroma 에서 ConfigError 가 발생합니다.
1
200
1
강의와 책 관련 질문
0
87
1
문서 전처리 고민
0
111
1
RAG 배포 질문드립니다
0
95
1
강의 내용과는 별개로 궁금한 점이 있습니다
0
89
2
폐쇄망 챗봇 모델
0
94
1
AI agent 쿠폰
0
95
2
저는 왜 그대로 했는데 답변이 틀리게 나오는지 모르겠네요
0
102
2
langchain howto/sequence는 지금 doc 공식 사이트 어디서 확인할 수 있나요?
1
95
1
new_question에 대한 답 출력
0
74
2
랭체인 라이브러리
0
148
2
[LangGraph를 활용한 AI Agent 개발] 쿠폰 유효기간
0
106
1
postgresql의 pgvector 벡터는 어떤가요?
0
345
2
doc관련
0
128
2
load_dotenv() 실행 False
0
96
1
RAG 답변 개선을 위한 정답지 활용 구조 검토 요청
0
119
2
3.2 from langchain.chains ~ 에서 모듈을 찾지 못할 때.
1
406
2
강의 완료 오류
0
89
1
hub.pull 이슈
0
131
2
[3.3 강의] Upstage를 사용한 RAG 구현 성공기 공유
1
150
1