Opus/Sonnet 버전 관련 문의

Question

선생님, LLM검토 관련 문의드립니다. 최근 며칠간 자동매매 파이프라인에서 LLM(Claude API) 호출 단계가 계속 실패해서 원인을 찾아보고 있었습니다. 배경 원래 claude-opus-4-8 / claude-sonnet-4-6 을 쓰고 있었는데, 웹페이지에서 가격을 확인해보니 최신 버전인 claude-opus-5 / claude-sonnet-5 도 가격이 동일해서 제가 직접 최신 버전으로 업그레이드하였습니다. 증상 버전부분만 수정하였더니, 'ThinkingBlock' object has no attribute 'text' 에러로 6회(Opus 3회 + Sonnet 3회) 전부 실패 → 매수 후보 전부 차단 윗부분관려하여 수정하였더니, Opus는 Unterminated string (JSON 응답이 중간에 끊김), Sonnet은 content types: ['thinking'] (텍스트 응답 없이 사고 블록만 옴) 에러로 역시 전부 실패 원인 분석 claude-opus-5 / claude-sonnet-5 는 명시적으로 설정 안 해도 기본적으로 thinking(사고 과정)을 생성하는데, 기존 max_tokens=2000 설정이 이걸 감안 못 한 값이었습니다. thinking + 실제 답변(JSON)을 합친 길이가 2000을 넘어 응답이 잘리거나, 심하면 사고만 하다 텍스트 응답 없이 끝나버렸습니다. 제가 한 조치 content 블록 중 type == "text" 인 것만 골라 파싱하도록 방어 코드 추가 (에러를 재시도로 넘기기 위함) max_tokens 를 2000 → 16000으로 상향 (근본 원인 해결) (thinking depth를 낮추는 effort 파라미터 조정은 판단 품질 저하 우려로 일단 보류) 제가 여쭤보고 싶은건.. 선생님께서는 Opus,Sonnet 버전을 어떤 걸로 쓰고 계신지 궁금합니다. 저처럼 최신 버전(opus-5/sonnet-5)으로 올려서 쓰고 계신지, 아니면 다른 버전을 쓰시는지, 그리고 이런 thinking/max_tokens 이슈를 겪으신 적 있으신지도 여쭤보고 싶습니다. 토큰을 낮추기위해 effort 파라미터를 조정해볼까도 생각중인데 어떻게 해야할지 모르겠네요~

치알남 cheatkeyman · Answer

안녕하세요, @yundyo님. 분석하신 내용은 정확하십니다. 순서대로 답변 드리겠습니다. 1. 강의 버전 : 운영 서버는 claude-opus-4-8 + 폴백 claude-sonnet-4-6 입니다. 이 둘은 thinking 을 생략하면 사고 과정이 꺼져서 max_tokens=2000 과 content[0].text 로도 문제없이 돌았고, 그래서 그 이슈는 겪지 않았습니다. Opus 5 / Sonnet 5는 생략해도 사고 과정이 켜지도록 기본값이 바뀐 것 이라, 겪으신 현상은 정상입니다. 2. 하신 조치(텍스트 블록만 파싱, max_tokens 16000)는 맞습니다. 하나만 추가로 확인해주세요. 5 시리즈는 temperature 를 지원하지 않아서 보내면 anthropic.BadRequestError (HTTP 400, invalid_request_error )로 요청이 거부되고, 우리 코드는 이 예외를 재시도 없이 다음 모델로 넘기므로 결국 매수가 차단됩니다. MODELS_WITHOUT_TEMPERATURE 에 두 모델을 넣어 주세요. 3. effort : 사고 깊이를 조절하는 정식 파라미터입니다. 옛 방식 budget_tokens 는 5 시리즈에서 같은 예외로 거부됩니다. message = client.messages.create( model="claude-opus-5", max_tokens=16000, thinking={"type": "adaptive"}, output_config={"effort": "medium"}, # low / medium / high(기본) / xhigh / max messages=[{"role": "user", "content": prompt}], ) BUY/HOLD JSON을 내는 정형화된 판단이라 medium 부터 시작해 며칠 판정 로그를 보며 조정하시면 됩니다. thinking 을 끄는 것보다 effort를 낮추는 쪽이 품질/비용 모두 좋을 것 같습니다. output_config 는 최신 SDK가 필요하니 pip install -U anthropic 해주세요. 4. 비용 : Opus 5 단가는 4.8과 같지만 사고 과정 토큰이 출력으로 과금되니 호출당 비용은 늘어날 것입니다. Sonnet 5는 단가는 낮아도 토크나이저 변경으로 토큰 수가 약 30% 늘어납니다. 응답의 usage 를 며칠 기록해 보고 effort를 정하시면 될 것 같습니다. 저는 당분간 4.8 + 4.6을 유지하고, 위 설정으로 판정 로그를 비교한 뒤 전환할 계획입니다. 추가로 질문있으시다면 편하게 문의 주세요~ 감사합니다.

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. yundyo님. Claude 모델 버전과 thinking 응답으로 인해 JSON 파싱이 실패하는 상황은 아래 기존 질문과 가장 유사합니다. 여태까지 발견한 이슈들 공유드립니다. 해당 답변에서 지식공유자님은 강의 코드를 최신 Anthropic 규격에 맞춰 claude-opus-4-8 로 업데이트했으며, 기존 4.7 버전도 기능 자체에는 문제가 없다고 안내하셨습니다. 또한 모델 버전은 코드에 직접 하드코딩하기보다 .env 환경 변수로 분리해 관리하는 방식을 권장하셨습니다. ThinkingBlock 또는 Unterminated string 오류와 관련해서는 다음 질문도 참고하실 수 있습니다. pipeline/run-buy-pipeline 실행시 &ldquo;LLM호출전체실패&rdquo;에러발생 이 질문의 오류 역시 LLM 응답이 JSON으로 정상 종료되지 않아 Unterminated string 파싱 오류가 발생한 사례입니다. 기존 답변에서는 다음 사항을 우선 점검하도록 안내하고 있습니다. Anthropic API 계정의 잔액 및 호출 가능 여부 확인 응답이 중간에 잘리는 경우 max_tokens 값을 충분히 크게 설정 오류 전문을 확인해 실제 응답이 thinking 블록만 반환된 것인지 점검 따라서 yundyo님께서 적용하신 것처럼 type == "text" 인 블록만 추출한 뒤 JSON 파싱을 수행하는 방어 코드와, max_tokens 를 16,000 수준으로 늘리는 방식은 현재 증상에 대응하는 합리적인 접근으로 보입니다. 다만 강의 기준 모델 및 검증된 설정은 claude-opus-4-8 계열이므로, 최신 모델로 변경할 경우에는 thinking 활성화 여부, 응답 블록 처리 방식, 최대 토큰 설정을 함께 조정해야 합니다. effort 값을 변경하면 비용이나 응답 길이는 줄어들 수 있지만, 판단 품질에 영향을 줄 수 있으므로 우선은 강의에서 사용한 모델과 설정으로 정상 작동 여부를 확인하는 것을 권장드립니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.