2강 - 눈에 보이는 낭비, 눈에 보이지 않는 낭비: 값의 의미

Question

자주하는 실수를 통해 토큰이 어떻게 낭비되고 있고, AI를 잘못 사용하고 있는 사례라고 이해했습니다! 그런데.. 다음 내용에 대한 이해를 잘 하지 못했습니다 . 토큰 낭비 종류의 2가지 눈에 보이는 낭비: 필요 없는 걸 넣어 값이 더 나감 눈에 보이지 않는 낭비: 값은 정상이지만 결과가 틀림 여기서 "값"이라는게 토큰 비용을 말하는건지 LLM의 결과 값을 의미하는건지 아니면 그 외의 의미를 갖는 건지 잘 모르겠어요 (제가 이해력이 부족한가봐요.ㅠ) 눈에 보이는 낭비라는 게 필요 없는 정보까지 입력해서 정상적인 값과 함께 필요없는 값까지 출력하여 낭비가 된다는건지? 눈에 보이지 않는 낭비라는건 뭐가 정상인데 결과가 틀리다는건지.. 좀 더 쉽게 설명해주실 수 있나요?

signboardkr2653 · Answer

안녕하세요! 강의를 주의 깊게 수강해 주시고 아주 좋은 질문을 남겨주셔서 감사합니다. 개념을 확실하게 잡고 가시려는 모습이 정말 훌륭합니다. 질문해주신 "값"의 의미와 두 가지 낭비의 차이에 대해 헷갈리실 수 있는 부분을 대본의 내용을 바탕으로 명확하고 쉽게 정리해 드리겠습니다. 1. "값"의 진짜 의미는 무엇인가요? 강의에서 언급한 "값"은 LLM의 결과물이 아니라 '토큰 사용에 따라 지불해야 하는 청구 비용(돈)'을 의미합니다. 에이아이가 처리하는 왕복 과정 하나하나가 전부 비용, 즉 '값'으로 청구되는 구조이기 때문입니다. 2. 눈에 보이는 낭비란? 수강생님이 이해하신 내용이 맞습니다! '눈에 보이는 낭비'는 안 써도 될 곳에 토큰을 굳이 써서 비용(값)이 직관적으로 늘어나는 낭비입니다. 예를 들어 자료를 통째로 집어넣는 실수를 하면, 넣지 않아도 될 불필요한 정보까지 토큰으로 계산되어 청구서에 찍히는 값이 늘어나게 됩니다. 3. 눈에 보이지 않는 낭비란? 반대로 '눈에 보이지 않는 낭비'는 돈(토큰 비용)은 지불했는데 결과가 틀려서 그 돈이 통째로 버려지는 숨은 손실을 말합니다. LLM에게 직접 계산을 시키면 정확도가 크게 무너지고, 너무 많은 자료를 한 창에서 끝까지 처리하게 하거나 에이전트를 무작정 쌓으면 중간 맥락을 잃어버리는 현상(Lost in the Middle)이 발생합니다. 이렇게 되면 시스템은 작동했고 결과물도 나왔기 때문에 토큰에 대한 비용(값)은 이미 치렀지만, 정작 결과가 틀려서 쓸모가 없어지므로 눈에 보이지 않게 토큰을 낭비한 셈이 됩니다. 결론적으로, 오케스트레이션을 잘못 설계하여 자주 하는 실수들을 범하면 결국 값(비용)은 더 쓰면서 정확도는 오히려 떨어뜨리는 최악의 결과가 발생하게 됩니다. 충분한 답변이 되셨기를 바라며, 앞으로도 실습하시거나 강의를 들으시면서 헷갈리는 부분이 생기면 언제든 질문 남겨주세요!