토큰 폭탄 문제

Question

안녕하세요. Hermes Agent로 여러 직원을 운영 중인데, 토큰 비용이 비정상적으로 많이 나와서 문의드립니다. 상황: 직원 한 명(코딩 담당)에게 2시간도 안 되는 시간 작업시켰는데, OpenRouter에서 $20 / 189 요청 / 13.3M 토큰 이 나왔습니다. 작업 내용은 단순한 웹 UI 수정 (레이아웃 변경, 버튼 이름, 자막 분할 규칙, 미리보기 박스)뿐이었습니다. 무거운 작업이 아니었습니다. 계산해보니 요청 한 번당 평균 7만 토큰 입니다. 원인을 찾아보니, 직원이 작업할 때마다 스킬 86개 + 도구 설명을 매 요청마다 통째로 LLM에 보내는 것 같습니다. 질문: Hermes에서 직원 작업 시 스킬/도구 설명을 매번 전부 컨텍스트에 싣는 게 맞나요? 이게 요청당 7만 토큰의 원인인가요? 필요한 스킬만 동적으로 로드 하거나, 안 쓰는 스킬은 안 싣게 하는 설정이 있나요? 이걸 직원별로 줄일 수 있나요, 아니면 전역 설정 이어야 하나요? (직원마다 필요한 스킬이 달라서요) 한 직원 설정을 바꿀 때 다른 직원에게 영향이 안 가게 하려면? 그 외 토큰/비용 줄이는 권장 설정이 있을까요? (max_turns, 세션 관리, 모델 분리 등) 단순 UI 수정 2시간에 $20이면, 여러 본부로 확장 시 감당이 안 될 것 같아 비용 구조부터 잡으려 합니다. 감사합니다.

Dante(곽지호) · Answer

안녕하세요 대혁님. 토큰 과다 사용의 문제는 전체 진행내용을 내가 알수 없기에 세션 내용을 텍스트 문서로 만들어 주신다면 검토해드릴수 있습니다. 너무나 많은 원인이 있기 때문에 단정지을수가 없거든요. 번호에 대한 질문 답변드립니다. 1) 스킬의 제목과 디스크립션만 컨텍스트에 세션 시작시 주입됩니다. 과다한 내용이 아니므로 원인이 아닙니다. 2) 1)번 설명과 마찬가지로. "점진적 공개" 기법으로 스킬 컨텍스트를 관리하기 때문에 특정 스킬을 온오프하는 방식으로 하실필요는 없다고 보여집니다. 정말 필요없다면 삭제하시는게 맞지요. 3) 스킬은 강의 내용 내내 직원별로 안내해드리고 있습니다. 프로필별로 스킬 폴더에 넣으시는겁니다. 4) 이미 격리되어 있습니다. 서로 영향이 가지 않습니다. 강의 내용을 다시 들어보셔야 할듯합니다. 5) 이 역시 이미 강의에서 다루고 있는 질문이십니다. 도구 사용회수를 제한하실수 있고, 가성비 모델을 폴백 또는 세컨드 모델로 설정할수 있는 부분도 안내하고 있습니다. 세션 Threashold를 (기본값0.5)을 낮추는 것도 도움이됩니다. 입력토큰을 아낄수 있니까요. 토큰과 비용을 줄이는 부분은 다양한 방식이 있습니다. 단 토큰을 단순히 줄이는 방법은 다양하고 복잡한 문제를 해결하기 위한 추론성능을 떨어뜨리기도 하니 트레이드오프가 있습니다. 가성비 모델(MiniMax M3, DeepSeek V4, Kimi K2.6, 2.7-code, GLM 5.2 등)을 잘 선택하시는게 가장 현실적인 방법인것 같습니다. 해당 회사들의 코딩 플랜도 있습니다. 비용이 걱정되시는데 API 토큰으로 사용하시는 이유가 따로 있으신지요. 구독제를 사용하셔요. 그리고 일반적인 방식으로 하셨을때 토큰을 많이 사용하지 않는데, 내용을 몰라 피드백드리기 어렵네요. 이 글로 다 전달드리기 어려운점 양해바랍니다.

권대혁 · Answer

시스템 구축하기위해 코딩하는 직원 (sam) 한테 무료 모델 품질 쓸만한가요? 코딩 작업시킬때는 어떤걸 써야 하나요 ㅠ