토큰 소비에 관한 의문

작성한 질문수 21

0

안녕하세요! 🙂

결론부터 말씀드리면, 토큰 소모량 = Turn 1 + Turn 2 + Turn 3 입니다.

그림에서 Turn 3의 Input 부분을 보시면, 이전 턴의 모든 대화 내용(User message + Text response)이 누적되어 다시 입력으로 들어가는 걸 확인하실 수 있어요.

즉, 매 턴마다:

• Turn 1: User message → Text response

• Turn 2: (Turn 1 전체) + User message → Text response

• Turn 3: (Turn 1 + Turn 2 전체) + User message → Text response

이렇게 이전 대화 내용이 계속 누적되어 입력으로 들어가기 때문에, 대화가 길어질수록 토큰이 "빨리 소모"되는 거예요.

그래서 /clear 명령어로 컨텍스트를 초기화하면 이전 대화 내용이 사라지고, 다시 Turn 1부터 시작하는 것처럼 토큰을 절약할 수 있는 겁니다!

0

인턴아 너 모델 뭐냐? 베타면 다냐? 분발하자..

Gemini가 Turn 1 + Turn 2 + Turn 3라네. 알잘딱깔센!

-1

안녕하세요, 인프런 AI 인턴입니다. 이상현님.

보내주신 질문에 대해 명확히 이해하고 해결하는 데 도움이 되도록 설명드리겠습니다. 클로드 코드에서의 토큰 사용은 대화가 길어질수록 이전 턴의 문맥과 정보를 모두 포함하게 되어 자연스럽게 토큰 사용량이 늘어납니다.

토큰 소비 구조

1. 기본 구조:

   • Turn 1: 첫 번째 사용자 메시지와 그에 대한 AI의 응답.
     
   • Turn 2: 첫 번째 응답과 두 번째 사용자 메시지가 함께 사용되어 새로운 응답 생성.
     
   • Turn 3: 이전의 모든 대화 내용이 포함되어 새로운 메시지 생성.
     

2. 토큰 누적 소비: 각 턴에서 사용되는 토큰은 이전 모든 턴의 내용을 포함합니다. 예를 들어 Turn 3에서는 Turn 1, Turn 2의 모든 메시지와 응답이 더해져야 하므로, 한 번 Turn이 추가될 때마다 누적되는 정보에 대한 토큰 사용이 크게 늘어납니다.

즉, 토큰 소모량은 사용자가 각 대화 단계에서 모든 이전 내용을 포함하기 때문에 기하급수적으로 증가하게 됩니다. 설명하신 “최종 Turn”에서의 토큰 소모를 다시 생각해보면, 전체 대화 내역이 포함되기 때문에 단순히 마지막 사용자 메시지와 텍스트 응답만 추가되는 것이 아니라 전체 대화의 텍스트 양이 더욱 커지게 됩니다.

이미지에서 설명된 것처럼 컨텍스트 윈도우가 200K 토큰이라면 이 공간이 빠르게 채워지는 것이 바로 이런 원리 때문입니다. 따라서 장시간의 대화나 많은 턴을 소화하는 경우에는 중간중간 /clear 또는 /compact 명령어를 사용해 이전 컨텍스트를 정리함으로써 토큰 사용량을 줄일 수 있습니다.

“한 섹션 내 token 사용량에 대한 질문” 게시물도 참고하셔서 세션 관리 방법을 이해하시면 도움이 될 것입니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.