채팅 히스토리 관련
안녕하세요
Azure OpenAI 기반 챗봇 개발 중에, 사용자와 챗봇의 채팅 히스토리를 기록하려 합니다.
ex) 챗봇의 문맥 파악, 채팅 로그 분석 등
이 때에 채팅 히스토리를 저장하는 합리적인 방법이 어떤게 있을까요?
(현재 테스트 단계에서는 인메모리를 사용하고있습니다.)
감사합니다, 새해 복 많이 받으세요.
답변 1
0
안녕하세요!
AzureOpenAI를 사용중이시면 데이터베이스도 Azure에 운영하실 계획이신가요? 히스토리 기록을 어떤 포맷으로 하시냐에 따라 다르겠지만 MySQL이나 PostgreSQL같은 RDB로 진행하시면 될 것 같습니다.
요구사항을 조금 더 자세하게 주시면 답변드릴 수 있을 것 같아요~
0
강사님, 답변 감사드립니다!
DB는 현재 PoC중이라, ChromaDB를 사용중이고 추후 Azure AI Search로 넘어갈 의향은 있습니다.
채팅 답변이 빠를수록 좋기에, 채팅 히스토리는 채팅이 끝난 후 DB에 일괄로 저장하고
문맥 파악을 위한 질의 내역들은 Redis를 활용하려는데 합리적일까요?
챗봇의 답변 속도가 가장 중요한 상황인데, 답변 속도를 올리기 위한 혹시 다른 방법이 있다면 첨언 부탁드립니다.
0
네네 속도가 중요하다면 redis를 활용해서 cache하시면 더 빠르긴 할텐데 운영 측면에서 관리 포인트가 늘어나는거라서 그부분은 고민해보시면 좋을것같아요. 정말 꼭 필요한건지, 그리고 redis를 활용해서 시간이 얼마나 단축되는지 등등을 확인해보셔야 할 것 같습니다.
답변 속도를 개선하려면 프롬프트를 간단하게 작성하려고 시도하셔야 합니다. 장황하게 거대한 프롬프트를 작성하는 것 보다 task를 작게 나누어서 작은 프롬프트를 여러번 활용하시는 걸 추천합니다.
소득세법 docx 파일 공유 요청건
0
64
1
EXAONE 모델 불러오기 안되는 문제
0
87
2
[5.1 강의] LLM Evaluator에 Upstage를 사용하는 방법 + 변경된 Langsmith Docs를 참고하여 구현하는 방법 공유
0
102
2
강의 9에 QA관련된 import가 되지 않네요
0
110
2
🚨 python3.14 를 쓰고 계시면 chroma 에서 ConfigError 가 발생합니다.
1
199
1
강의와 책 관련 질문
0
86
1
문서 전처리 고민
0
109
1
RAG 배포 질문드립니다
0
93
1
강의 내용과는 별개로 궁금한 점이 있습니다
0
87
2
폐쇄망 챗봇 모델
0
93
1
AI agent 쿠폰
0
94
2
저는 왜 그대로 했는데 답변이 틀리게 나오는지 모르겠네요
0
100
2
langchain howto/sequence는 지금 doc 공식 사이트 어디서 확인할 수 있나요?
1
93
1
new_question에 대한 답 출력
0
72
2
랭체인 라이브러리
0
147
2
[LangGraph를 활용한 AI Agent 개발] 쿠폰 유효기간
0
105
1
postgresql의 pgvector 벡터는 어떤가요?
0
343
2
doc관련
0
127
2
load_dotenv() 실행 False
0
93
1
RAG 답변 개선을 위한 정답지 활용 구조 검토 요청
0
118
2
3.2 from langchain.chains ~ 에서 모듈을 찾지 못할 때.
1
404
2
강의 완료 오류
0
87
1
hub.pull 이슈
0
129
2
[3.3 강의] Upstage를 사용한 RAG 구현 성공기 공유
1
147
1