토큰 폭탄 문제
안녕하세요. Hermes Agent로 여러 직원을 운영 중인데, 토큰 비용이 비정상적으로 많이 나와서 문의드립니다.
상황:
직원 한 명(코딩 담당)에게 2시간도 안 되는 시간 작업시켰는데, OpenRouter에서 $20 / 189 요청 / 13.3M 토큰이 나왔습니다.
작업 내용은 단순한 웹 UI 수정(레이아웃 변경, 버튼 이름, 자막 분할 규칙, 미리보기 박스)뿐이었습니다. 무거운 작업이 아니었습니다.
계산해보니 요청 한 번당 평균 7만 토큰입니다.
원인을 찾아보니, 직원이 작업할 때마다 스킬 86개 + 도구 설명을 매 요청마다 통째로 LLM에 보내는 것 같습니다.
질문:
Hermes에서 직원 작업 시 스킬/도구 설명을 매번 전부 컨텍스트에 싣는 게 맞나요? 이게 요청당 7만 토큰의 원인인가요?
필요한 스킬만 동적으로 로드하거나, 안 쓰는 스킬은 안 싣게 하는 설정이 있나요?
이걸 직원별로 줄일 수 있나요, 아니면 전역 설정이어야 하나요? (직원마다 필요한 스킬이 달라서요)
한 직원 설정을 바꿀 때 다른 직원에게 영향이 안 가게 하려면?
그 외 토큰/비용 줄이는 권장 설정이 있을까요? (max_turns, 세션 관리, 모델 분리 등)
단순 UI 수정 2시간에 $20이면, 여러 본부로 확장 시 감당이 안 될 것 같아 비용 구조부터 잡으려 합니다. 감사합니다.
回答 2
0
안녕하세요 대혁님.
토큰 과다 사용의 문제는 전체 진행내용을 내가 알수 없기에 세션 내용을 텍스트 문서로 만들어 주신다면 검토해드릴수 있습니다. 너무나 많은 원인이 있기 때문에 단정지을수가 없거든요.
번호에 대한 질문 답변드립니다.
1) 스킬의 제목과 디스크립션만 컨텍스트에 세션 시작시 주입됩니다. 과다한 내용이 아니므로 원인이 아닙니다.
2) 1)번 설명과 마찬가지로. "점진적 공개" 기법으로 스킬 컨텍스트를 관리하기 때문에 특정 스킬을 온오프하는 방식으로 하실필요는 없다고 보여집니다. 정말 필요없다면 삭제하시는게 맞지요.
3) 스킬은 강의 내용 내내 직원별로 안내해드리고 있습니다. 프로필별로 스킬 폴더에 넣으시는겁니다.
4) 이미 격리되어 있습니다. 서로 영향이 가지 않습니다. 강의 내용을 다시 들어보셔야 할듯합니다.
5) 이 역시 이미 강의에서 다루고 있는 질문이십니다. 도구 사용회수를 제한하실수 있고, 가성비 모델을 폴백 또는 세컨드 모델로 설정할수 있는 부분도 안내하고 있습니다. 세션 Threashold를 (기본값0.5)을 낮추는 것도 도움이됩니다. 입력토큰을 아낄수 있니까요. 토큰과 비용을 줄이는 부분은 다양한 방식이 있습니다. 단 토큰을 단순히 줄이는 방법은 다양하고 복잡한 문제를 해결하기 위한 추론성능을 떨어뜨리기도 하니 트레이드오프가 있습니다.
가성비 모델(MiniMax M3, DeepSeek V4, Kimi K2.6, 2.7-code, GLM 5.2 등)을 잘 선택하시는게 가장 현실적인 방법인것 같습니다. 해당 회사들의 코딩 플랜도 있습니다.
비용이 걱정되시는데 API 토큰으로 사용하시는 이유가 따로 있으신지요.
구독제를 사용하셔요.
그리고 일반적인 방식으로 하셨을때 토큰을 많이 사용하지 않는데,
내용을 몰라 피드백드리기 어렵네요.
이 글로 다 전달드리기 어려운점 양해바랍니다.
0
시스템 구축하기위해 코딩하는 직원 (sam) 한테 무료 모델 품질 쓸만한가요? 코딩 작업시킬때는 어떤걸 써야 하나요 ㅠ
0
쓸만하다고 쉽게 말씀드리기 어렵습니다. 각자 기준이 다르기때문에 이건 정말 써보시면서 판단하셔야합니다. 무료모델은 프론티어 급 성능이 아니라서 기대를 크게 가지시면 안됩니다.
OpenRouter의 모델 Compare 에서 벤치마크 성능을 비교해보신뒤 실제 코딩에 써보세요.
MAGMA와 함께 개인 서비스도 같이 구축할때는 어떻게 세팅하는게 효율적인가요?
0
6
1
hermes dashboard : Failed to restart gateway
0
10
1
hermes slack 설정 문제?
0
28
1
hermes memory setup
0
42
3
unit3.8 ready 입력 시 오류
0
40
3
URL을 어디서 찾을수잇을까요?
0
39
2
slack app 생성
0
35
1
memory setup 후 헤르메스 리스타트 문제
0
71
3
Wave 설치 여부에 관한 질문
0
47
2
hermes session list에 슬랙에서 새롭게 생성한 세션이 보이지 않습니다.
0
59
2
hermes dashboard
0
50
1
hermes profile 설정
0
74
2
새롭게 나온 강의와 어떤 차이가 있을까요?
0
83
2
앱 게시 불가
0
41
1
1.13 다른 부분 정리
0
67
2
1.12 강의랑 실제 진행이랑 조금 다릅니다.
0
97
2
Unit 1.13 — Telegram × Hermes 연동 가이드: 메신저로 에이전트와 대화하기
0
84
2
deskrpg 최신 버전에서 게이트웨이 연결이 안됩니다.
0
54
2
docker deskop은 항상 켜놓아야하나요?
0
59
2
Owal Alpha무료모델 없음
0
59
2
슬랙에서 소피가 호출되지 않아요.
0
87
3
hermes logo.png
0
41
2
sudo systemctl restart hermes-gateway 문제
0
86
3
데스크탑 혹은 노트북 환경 변경시에는, 다시 설치해야하나요?
0
56
2