Inflearn brand logo image

인프런 커뮤니티 질문&답변

tmdrb0572@naver.co님의 프로필 이미지
tmdrb0572@naver.co

작성한 질문수

RAG를 활용한 LLM Application 개발 (feat. LangChain)

3.6 Retrieval 효율 개선을 위한 키워드 사전 활용

연봉 5000만원에 대한 소득세가 다르게 계산되는 문제

작성

·

56

0

4강까지 강의를 다 들었습니다.
하지만 연봉 5천만원인 거주자의 소득세는? 이라는 쿼리를 날릴경우 답변이 624만원이 나오지 않고 다양한 값이 나오고 있는것을 확인했습니다.

upstage model을 사용하고 pinecone vector store 를 사용하고 있으며 dictionary chain 까지 구성해서 직장인 -> 거주자로 바꾸는것 까지 적용해서 invoke 를 실행했습니다.

직접 테스트한 예시로는
'query': 연봉 5천만원인 거주자의 소득세는 얼마인가요? 소득구간별 세율의 예시를 보여주면서 설명해줘,
'result': '연봉 5천만원인 직장인의 소득세는 550만원입니다. 소득구간별 세율에 따라 계산하면, 5천만원 이하의 과세표준에는 15%의 세율이 적용되어 84만원 + (1,400만원을 초과하는 금액의 15%) = 550만원이 소득세로 산출됩니다.'},

{'query': '연봉 5천만원인 직장인의 소득세는 얼마인가요?', 'result': '연봉 5천만원인 직장인의 소득세는 550만원입니다. 이는 종합소득 과세표준 5,000만원 이하 구간에 해당하는 세율을 적용하여 계산한 금액입니다.',

{'query': '연봉 5천만원인 직장인의 소득세는 얼마인가요?', 'result': '연봉 5천만원인 직장인의 소득세는 526만원입니다. (산출식: 5,000만원 - 1,400만원 = 3,600만원, 3,600만원 * 15% - 84만원 = 420만원)'}

이런식으로 지속적으로 다른 답이 나오고 있으며 "소득구간별 세율의 예시를 보여주면서 설명해줘" 이 부분을 추가하지 않고 처음 쿼리를 날리면 직장인의 소득세는 xxx 만원입니다. 하고 바로 끝나는 result가 나왔습니다.

이러한 원인이 upstage 모델을 사용해서 이런 결과가 발생했는지 궁금하고
4강에서 설명했던 few-shot prompting 이 되지 않아서 처음에는 정확한 답을 주지 못하고 있다가 "소득구간별 세율의 예시를 보여주면서 설명해줘" 이 부분이 추가되면서 다음 응답들이 더 자세하게 나오게 된 것인지 궁금합니다.


답변 2

1

강병진님의 프로필 이미지
강병진
지식공유자

안녕하세요! 좋은 질문 감사합니다

질문해주신 내용은 upstage모델 때문이라기 보다는 생성형 AI의 특징이라고 봐야할 것 같은데요. 아무리 temperature를 0으로 설정한다고 하더라도 LLM은 동일한 질문에도 매번 정확히 같은 답을 보장하지 않습니다. 모델이 항상 “확률적으로 가장 그럴듯한 다음 토큰”을 생성하기 때문입니다.

예시로 들어주신 첫번째 항목을 보면 답변을 생성하기 위해 필요한 문서는 잘 들고왔는데 계산이 틀려서 잘못된 답변을 내는 것 같습니다. 말씀하신 것처럼 조금 더 일관되고 정확한 답변을 생성하기 위해서는 few shot를 통해서 조금 더 다양한 예제들을 제공하면서 시도해보시는 걸 추천합니다

 

0

안녕하세요, 인프런 AI 인턴입니다. tmdrb0572@naver.co님.

연봉 5천만원인 거주자의 소득세 계산에 대해 질문을 주셨군요. 주어진 쿼리에 대한 답변이 다양하게 나오는 문제는 몇 가지 요인에 의해 발생할 수 있습니다.

답변의 다양성이 발생하는 이유

  1. 모델의 가변성: 사용하고 계신 Upstage 모델은 LLM으로서 다양한 입력에 따라 다른 응답을 생성할 수 있습니다. 이는 모델이 문맥을 해석하는 방식에 따라 다양하게 적용됩니다.

  2. 프롬프트의 구체성: 질문에 “소득구간별 세율의 예시를 보여주면서 설명해줘”라는 세부적인 요구사항을 추가함으로써, 모델이 더 구체적이고 세부적인 응답을 생성하도록 유도할 수 있습니다. 이는 Few-shot prompting과 관련이 있으며, 추가된 예시로 모델이 더욱 정확한 결과를 생성할 가능성을 높여줍니다.

  3. 벡터 스토어 활용: Pinecone을 사용하여 질의응답을 개선하고 있다면, 제공된 데이터를 효과적으로 검색하고 있는지 확인해야 합니다. 데이터베이스의 설정이나 저장 방식에 따라 검색 결과에 차이가 있을 수 있습니다.

  4. 데이터 및 설정의 차이: 소득세 관련 데이터가 업데이트 되었거나, 전달된 지식이 다르기 때문에 값이 달라질 수 있습니다. 세법 또는 소득구간의 변경 사항도 영향을 미칠 수 있습니다.

더 자세한 정보나 특정 사례에 대한 설명이 필요하실 경우, 제공된 예시와 현재 설정을 기준으로 디버깅 및 테스트를 통해 문제의 원인을 파악해볼 수 있습니다.

유사한 문제와 해결책에 대해 더 알아보고 싶으시면 연관 질문과 해결책 링크를 참조하실 수 있습니다. 이 질문에서는 다양한 세금 계산 관련 문제를 다루고 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

tmdrb0572@naver.co님의 프로필 이미지
tmdrb0572@naver.co

작성한 질문수

질문하기