summary buffer memory token_limit 질문
token_limit 은 대화의 input, output set 개수 일까요 ?
답변 2
0
아하 감사합니다 그렇다면
summary : <기억1에대한내용> <기억2에대한 내용> 이런 식 이던데, 이 summary가 buffer에 있으니 이 summary에 대한 토큰 제한이군요 ? 이를 넘으면 기억1 쪽 내용부터 삭제 혹은 정리 될까요 ?
0
안녕하세요 정채진님,
아마 max_token_limit의 token_limit을 말씀하시는 것 같은데, 간략히 token limit은 대화 버퍼에 저장된 토큰에 대한 제한입니다.
ConversationTokenBufferMemory 클래스의 max_token_limit 매개변수는 대화 버퍼에 저장된 토큰의 수를 제한하는 데 사용됩니다. save_context 메서드가 호출되면 현재 버퍼 길이(토큰 단위)가 max_token_limit을 초과하는지 확인합니다. 그렇다면 버퍼의 길이가 max_token_limit보다 작거나 같아질 때까지 처음부터 메시지를 제거하여 버퍼를 정리합니다.
그러나 이 정리 과정은 모델이 max_token_limit보다 오래된 정보를 기억하지 않을 것을 보장하지 않는다는 점이 중요합니다. 모델의 기억 능력은 내부 메커니즘에 따라 결정되며 max_token_limit 매개변수로 직접 제어되지 않습니다.
18강 smithery 를 이용한 mcp 실습(업데이트 요청)
0
13
1
guardrails 부분도 현재버전과 약간 다릅니다.
0
11
0
smithery ai 언제 업데이트 되나요?
0
15
1
가상환경 생성 필요한가요?
0
21
1
무료할당량 사용하는데 문제가 생겼습니다.
0
21
1
섹션2-11 내용중 tool_call
0
24
2
제공해준 자료가 압축해제되지 않습니다.
0
33
2
max token을 제한하는게 왜 성능을 개선하게 되는걸까요?
0
38
2
20강에서 파인튜닝 때 사용한 데이터가 없어졌습니다. LoRA Trainer 매개변수도 라이브러리 업그레이드로 수정되었습니다.
0
20
1
n8n으로 context를 고려한 이메일 답장 드래프트 작성 봇 생성 강의
0
40
2
강의자료 오류
0
39
1
강의 관련 질문
0
33
0
섹션 10에 수업 자료 링크가 없네요
0
74
3
100% 수강 완료가 되지 않아요
0
71
1
100% 수강 완료가 되지 않아 문의드립니다.
0
118
4
MCP 서버 관련 질문이있습니다.
0
164
2
랭체인 외부 인터넷 사용 관련
0
211
1
Custom Agent executor error
1
403
2
[공유] SQLDatabase를 에디터에서 인식하지 못한다면
1
293
1
ChatPromptTemplate.from_messages(("ai", ...)) 질문
1
399
1
chroma db import 가 업데이트된 것 같습니다.
1
504
1
CommonList output이 안되는데 무엇이 문제일까요 ?
1
263
2
Langchain version이 업데이트 되어서 코드를 수정해야할 것 같습니다.
1
1044
2
주어진 코드를 그대로 실행 해 보았는데 결과가 달라요
1
574
3