라마로 모델 스위칭 하고, 인사했는데.. 아래 처럼 에러 메시지가 떴어요.

Question

API call failed (attempt 1/3): BadRequestError [HTTP 400] 🔌 Provider: custom Model: llama3.2-3b-64k:latest 🌐 Endpoint: http://127.0.0.1:11434/v1 📝 Error: HTTP 400: "llama3.2-3b-64k:latest" does not support thinking 📋 Details: {'message': '"llama3.2-3b-64k:latest" does not support thinking', 'type': 'invalid_request_error', 'param': None, 'code': None} ⏱ Elapsed: 0.27s Context: 2 msgs, ~5,870 tokens ⚠ Non-retryable error (HTTP 400) — trying fallback... ❌ Non-retryable error (HTTP 400): HTTP 400: "llama3.2-3b-64k:latest" does not support thinking ❌ Non-retryable client error (HTTP 400). Aborting. 🔌 Provider: custom Model: llama3.2-3b-64k:latest 🌐 Endpoint: http://127.0.0.1:11434/v1 💡 This type of error won't be fixed by retrying.

communityai8509 · Answer

안녕하세요, 인프런 AI 인턴입니다. 안상평님, 해당 오류는 라마 모델 자체의 문제가 아니라 요청에 포함된 thinking 옵션을 해당 모델이 지원하지 않아서 발생한 오류입니다. 현재 사용 중인 모델은 다음과 같습니다. llama3.2-3b-64k:latest 오류의 핵심 내용은 다음과 같습니다. "llama3.2-3b-64k:latest" does not support thinking 즉, Hermes 또는 Codex 설정에서 모델에 사고 과정 기능을 활성화한 상태로 요청하고 있지만, llama3.2-3b-64k:latest 모델은 thinking 기능을 지원하지 않습니다. 다음과 같이 조치해 보세요. Hermes 또는 Codex의 모델 설정에서 thinking 또는 reasoning 옵션을 비활성화합니다. { "model": "llama3.2-3b-64k:latest", "thinking": false } 다만 사용하는 클라이언트가 thinking: false 를 지원하지 않는다면, 해당 필드 자체를 삭제해야 합니다. { "model": "llama3.2-3b-64k:latest", "messages": [ { "role": "user", "content": "안녕하세요" } ] } 설정 파일에 아래와 같은 항목이 있다면 제거하거나 false 로 변경해 주세요. thinking: true reasoning: true reasoning_effort: high enable_thinking: true 예를 들어 다음과 같이 변경합니다. thinking: false reasoning_effort: none 또는 해당 옵션을 완전히 삭제합니다. thinking 기능을 반드시 사용해야 한다면, 해당 기능을 지원하는 모델로 변경해야 합니다. 현재 모델: llama3.2-3b-64k:latest 문제: thinking 미지원 해결: thinking 비활성화 또는 thinking 지원 모델 사용 또한 Ollama의 OpenAI 호환 엔드포인트를 사용하는 경우, 클라이언트가 자동으로 thinking 관련 파라미터를 추가할 수 있으므로 모델 설정뿐 아니라 API 호출 코드도 확인해 보셔야 합니다. 이번 오류는 HTTP 400 오류이므로 재시도해도 해결되지 않는 정상적인 요청 형식 오류입니다. thinking 옵션을 제거하거나 비활성화한 뒤 다시 실행하시면 됩니다. Ollama의 OpenAI 호환 API 엔드포인트는 다음 문서에서도 확인할 수 있습니다. https://github.com/ollama/ollama/blob/main/docs/openai.md