inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

Spring 개발자를 위한 실전 LLM 서비스 개발

[실습] Chain-of-Thought

강의내용중에 CoT 부분

44

Minkoo Lee

작성한 질문수 48

0

어느 놀이공원의 할인 규정입니다.
- 만 13세 미만은 어린이 요금(8,000원)
- 만 65세 이상은 경로 요금(6,000원)
- 그 외는 성인 요금(15,000원)
- 4인 이상 동반 시 전체 금액에서 10% 할인
- 화요일은 성인 요금만 2,000원 추가 할인

화요일에 만 11세 1명, 만 40세 2명, 만 67세 1명이 함께 입장했습니다.
총 결제 금액은 얼마입니까?

위 부분의 답은 36000원인데..

gpt-4o-mini에서는 38400원, 40800원 왔다갔다 답변이 나오는데.. 이 모델이 계산을 잘못하고 있는거져?

CoT라는게 제대로 적용된 결과가 저런걸까요?

{
    "topic": "Chain-of-Throught",
    "beforeLabel": "CoT 없음 - 결론만",
    "beforePrompt": "어느 놀이공원의 할인 규정입니다.\n- 만 13세 미만은 어린이 요금(8,000원)\n- 만 65세 이상은 경로 요금(6,000원)\n- 그 외는 성인 요금(15,000원)\n- 4인 이상 동반 시 전체 금액에서 10% 할인\n- 화요일은 성인 요금만 2,000원 추가 할인\n\n화요일에 만 11세 1명, 만 40세 2명, 만 67세 1명이 함께 입장했습니다.\n총 결제 금액은 얼마입니까?\n\n답만 알려주세요.",
    "beforeAnswer": "총 결제 금액은 40,800원입니다.",
    "beforeTokens": 160,
    "afterLabel": "CoT 적용 - 단계별 검토",
    "afterPrompt": "어느 놀이공원의 할인 규정입니다.\n- 만 13세 미만은 어린이 요금(8,000원)\n- 만 65세 이상은 경로 요금(6,000원)\n- 그 외는 성인 요금(15,000원)\n- 4인 이상 동반 시 전체 금액에서 10% 할인\n- 화요일은 성인 요금만 2,000원 추가 할인\n\n화요일에 만 11세 1명, 만 40세 2명, 만 67세 1명이 함께 입장했습니다.\n총 결제 금액은 얼마입니까?\n\n단계별로 검토한 뒤 결론을 내세요.",
    "afterAnswer": "총 결제 금액은 40,800원입니다.",
    "afterTokens": 160

저는 위처럼 나오던데..

openai vector-database 프롬프트엔지니어링 rag spring-ai

답변 2

0

Minkoo Lee

모델이 구형모델이라 그렇군요. 단순 산술 계산을 못할줄은 몰랐네요. 나중에 모델을 5o나 5o-mini로 올려서 한번 해봐야겠네요.

0

Dowon Lee

안녕하세요, 이도원입니다.

강의에서 사용하는 모델은 gpt-4o-mini 모델입니다. 정확한 답변을 얻어서 서비스해야하는 경우가 아니기 때문에, 강의에서는 비용이 저렴한 이전 버전을 사용했습니다.
공식 문서 기준으로 GPT-4o mini의 최신 공개 스냅샷은 2024-07-18이며, 현재는 API 지원 종료가 예고된 상태입니다. 단계별 계산에서도 오류가 발생할 수 있습니다. 다만 업데이트 중단이 이번 계산 오류의 원인이라고 단정할 수는 없지만, 단계별 계산(CoT) 문제에서 오류 가능성습니다. 이유는 다음과 같습니다.

  • 추론 모델이 아님: 내부 추론 단계 없이 바로 답을 생성합니다. 조건 4~5개를 순서대로 적용하는 문제에서 중간 값을 놓치거나 섞기 쉽습니다. 이전 질문에서 38,400원과 40,800원이 번갈아 나온 것이 그 예입니다.

  • 산술 실수: 소형 모델이라 곱셈, 할인율 같은 다단계 산술에서 토큰 단위로 숫자가 틀어지는 일이 자주 생깁니다.

  • 비결정성: temperature가 0보다 크면 같은 질문에도 경로가 달라져 답이 흔들립니다.

  • 조건 순서 해석: "화요일 할인"과 "전체 금액 10%" 중 무엇을 먼저 적용할지 같은 규칙 해석도 일관되지 않습니다.

위 부분은 고려하셔서 실무에 적용하셔야 되며, 강의에서는 OpenAI API 모델을 사용하기 위해 저렴한 모델을 사용하였습니다. 참고 부탁드립니다.

감사합니다.

수업 ppt 해당 장표 위치

0

13

2

강의자료 링크 열리지 않음.

0

13

2

28강 REVIEW.md 파일이 없습니다.

0

11

0

강의 내용중에 var

0

39

1

목차랑 내용이 전혀 다른데요

0

60

2

4.2.2 ~ 10.3.2.1 강의 영상 안나옴

0

56

2

강의 교안 예시

0

38

1

햅틱? 백틱?

0

54

1

postgresql 인텔리제이 커뮤니케이션 버전에서는 실행 안되나요?

0

54

2

api응답내용이 한글이 아닌 다른 언어와 섞여서 나옴.

0

50

1

(261004) 현재 상황 공유

0

58

2

(261004) 본 강의 실습에 대한 현재 상황 공유

0

62

2

클로드코드 아이콘 화면 표시

0

38

1

ai 레드티밍 자료 및 강의 누락

0

45

1

수업자료 관련 문의

0

65

3

섹션 2 - 9강. API 관련 질문

0

69

2

5강 녹음 소리 ㅠㅠ

1

72

3

github주소가 안보여요. ㅠ

0

75

2

아웃룩을 사용하지 않고, 개인메일이나 회사메일로 발송하는 방법 문의

0

45

0

강의 자료 요청드립니다.

0

50

1

클로드 코워크와 챗의 통합

0

55

1

Gemini File Search API

0

50

2

녹음 소리

0

126

1

spring으로 RAG 구축인 이유?

0

165

1