라마로 모델 스위칭 하고, 인사했는데.. 아래 처럼 에러 메시지가 떴어요.

Question

API call failed (attempt 1/3): BadRequestError [HTTP 400] 🔌 Provider: custom Model: llama3.2-3b-64k:latest 🌐 Endpoint: http://127.0.0.1:11434/v1 📝 Error: HTTP 400: "llama3.2-3b-64k:latest" does not support thinking 📋 Details: {'message': '"llama3.2-3b-64k:latest" does not support thinking', 'type': 'invalid_request_error', 'param': None, 'code': None} ⏱ Elapsed: 0.27s Context: 2 msgs, ~5,870 tokens ⚠ Non-retryable error (HTTP 400) — trying fallback... ❌ Non-retryable error (HTTP 400): HTTP 400: "llama3.2-3b-64k:latest" does not support thinking ❌ Non-retryable client error (HTTP 400). Aborting. 🔌 Provider: custom Model: llama3.2-3b-64k:latest 🌐 Endpoint: http://127.0.0.1:11434/v1 💡 This type of error won't be fixed by retrying.

dantelabs · Answer

안녕하세요, 상평님. 에러 메시지를 그대로 붙여 주셔서 원인을 바로 짚을 수 있었습니다. 감사합니다. 결론부터 말씀드리면 모델이나 Modelfile 은 잘 만드신 것이고, 헤르메스가 라마에게 "생각(thinking) 모드로 답해라"라는 옵션을 같이 보내서 생긴 문제입니다. 헤르메스는 설정에 reasoning_effort 값(기본 medium)이 있으면 어떤 프로바이더든 요청에 그 값을 실어 보냅니다. Ollama 는 이 값을 받으면 "생각 모드를 켜라"로 해석하는데, llama3.2 는 애초에 생각 모드가 없는 모델이라 "does not support thinking" 이라며 400 으로 거절하는 겁니다. 재시도해도 안 되는 이유가 그래서입니다. 가장 빠른 확인 방법은 헤르메스 대화창에서 /reasoning none 을 입력하고 다시 인사해 보시는 겁니다. 이 명령은 현재 세션에서만 생각 모드를 끄는 것이라 부담 없이 시험해 보실 수 있습니다. 매번 입력하기 번거로우시면 설정 파일에 라마 모델만 예외로 박아 두시는 방법을 권해 드립니다. ~/.hermes/config.yaml 을 열어 agent: 항목 아래에 다음 두 줄을 추가하시면 됩니다. agent: reasoning_effort: medium reasoning_overrides: "llama3.2-3b-64k:latest": "none" 여기서 모델 이름은 에러 메시지에 찍힌 그대로 :latest 까지 포함해서 적으셔야 합니다. 태그를 빼면 매치가 안 됩니다. 이렇게 하면 Codex 나 Claude 같은 기본 모델은 원래 설정대로 생각 모드를 쓰고, 라마로 전환했을 때만 생각 옵션이 빠져 나갑니다. /reasoning none --global 로 전체를 꺼 버리는 방법도 있지만, 그러면 유료 모델의 추론 품질까지 같이 내려가니 권하지 않습니다. 참고로 이 부분은 헤르메스가 최근 버전에서 커스텀 엔드포인트에도 reasoning 옵션을 보내도록 바뀌면서 생긴 현상이라, 녹화 당시(v0.15.1)에는 나오지 않던 화면 입니다. 강의 자료의 부록 D 에도 이 예외 설정을 추가해 두겠습니다. 진행하시다 막히는 부분 있으면 언제든 다시 질문 남겨 주세요. 감사합니다. :)

communityai8509 · Answer

안녕하세요, 인프런 AI 인턴입니다. 안상평님, 해당 오류는 라마 모델 자체의 문제가 아니라 요청에 포함된 thinking 옵션을 해당 모델이 지원하지 않아서 발생한 오류입니다. 현재 사용 중인 모델은 다음과 같습니다. llama3.2-3b-64k:latest 오류의 핵심 내용은 다음과 같습니다. "llama3.2-3b-64k:latest" does not support thinking 즉, Hermes 또는 Codex 설정에서 모델에 사고 과정 기능을 활성화한 상태로 요청하고 있지만, llama3.2-3b-64k:latest 모델은 thinking 기능을 지원하지 않습니다. 다음과 같이 조치해 보세요. Hermes 또는 Codex의 모델 설정에서 thinking 또는 reasoning 옵션을 비활성화합니다. { "model": "llama3.2-3b-64k:latest", "thinking": false } 다만 사용하는 클라이언트가 thinking: false 를 지원하지 않는다면, 해당 필드 자체를 삭제해야 합니다. { "model": "llama3.2-3b-64k:latest", "messages": [ { "role": "user", "content": "안녕하세요" } ] } 설정 파일에 아래와 같은 항목이 있다면 제거하거나 false 로 변경해 주세요. thinking: true reasoning: true reasoning_effort: high enable_thinking: true 예를 들어 다음과 같이 변경합니다. thinking: false reasoning_effort: none 또는 해당 옵션을 완전히 삭제합니다. thinking 기능을 반드시 사용해야 한다면, 해당 기능을 지원하는 모델로 변경해야 합니다. 현재 모델: llama3.2-3b-64k:latest 문제: thinking 미지원 해결: thinking 비활성화 또는 thinking 지원 모델 사용 또한 Ollama의 OpenAI 호환 엔드포인트를 사용하는 경우, 클라이언트가 자동으로 thinking 관련 파라미터를 추가할 수 있으므로 모델 설정뿐 아니라 API 호출 코드도 확인해 보셔야 합니다. 이번 오류는 HTTP 400 오류이므로 재시도해도 해결되지 않는 정상적인 요청 형식 오류입니다. thinking 옵션을 제거하거나 비활성화한 뒤 다시 실행하시면 됩니다. Ollama의 OpenAI 호환 API 엔드포인트는 다음 문서에서도 확인할 수 있습니다. https://github.com/ollama/ollama/blob/main/docs/openai.md