LLM 서비스의 신뢰성

11 asked

1

안녕하세요 도현님. 좋은 질문 남겨주셔서 감사합니다!

강의에서 신뢰성과 관련된 키워드로 정확성과 일관성을 언급했었는데요, 간단하게 정확성은 “응답 내용이 사실이나 서비스의 요구사항과 일치하는가”의 의미로, 일관성은 “같은 조건에서 서비스가 모순되지 않는 응답을 주는가”의 의미로 언급한 것이었습니다. 예를 들어 같은 대화 내에서 일관되지 않은 응답을 주거나 같은 질문을 물어봤을때 매번 핵심 내용이 다른 대답을 하면 서비스 신뢰성이 떨어질 수밖에 없으니까요.

일관성을 높이기 위한 방법은 먼저 강의의 모델 선택 & 서빙 챕터에서도 설명했듯이 Temperature와 같은 샘플링 파라미터를 조절하여 같은 입력에 대해 LLM 출력의 랜덤성을 줄이는 방법이 있습니다.

그런데 사실 이것보다 더 중요한건 시스템을 설계할 때 일관되어야 하는 부분과 LLM의 확률성을 허용할 수 있는 부분을 나누는 것이라고 생각합니다. 예를 들어 정책과 같이 항상 동일해야하는 정보는 DB나 API 같이 명확한 Source of Truth에서 가져오도록 결정론적으로 설계할 수 있습니다. 마찬가지로 주문 가능 여부를 확인하거나 가격을 계산하는 것처럼 명확한 비즈니스 로직이 정해져있는 작업도 LLM이 직접 판단하기보다는 API나 Tool을 호출하여 일관되게 처리하도록 설계할 수 있습니다. LLM의 응답은 단위 테스트로 검증하기 어렵지만 이렇게 결정론적으로 구현할 수 있는 부분을 나눠서 단위 테스트를 통해 검증하면 변경으로 인한 회귀도 방지할 수 있다는 장점이 있습니다.

일관성의 측정은 정확성과는 조금 다르게 미묘한 부분이 있습니다. 실제 LLM 서비스를 평가할때 일관성 자체를 단일 지표로 측정하기보다는, 먼저 해당 서비스가 의도한 대로 올바른 응답을 하고 있는지 정확성 지표들을 평가하고, 필요한 경우 일관성을 추가적으로 측정하는 방식​으로 접근하는 경우가 많습니다.

예를 들어 소설이나 광고 문구를 생성하는 서비스라면 매번 다른 표현을 생성하는 것이 자연스럽기 때문에 일관성 측정의 필요성이 낮을 수 있지만, 이력서 평가 서비스나 데이터의 이상 징후를 분석하는 서비스처럼, 동일한 입력에 대해 일정한 판단 기준과 논리를 유지해야 하는 서비스라면 반복 실행에 따른 결과의 변동성을 별도로 평가할 필요가 있을 것입니다.

일관성 측정 지표는 정확성과 같이 몇 가지 지표로 표준화되어 있는 것은 아니어서 서비스에서 어떤 부분의 일관성이 중요한지를 먼저 정의하고 거기에 맞는 평가 지표를 만들어야합니다.

분류나 점수처럼 결과가 정형화되어 있다면 동일한 입력을 여러 번 실행하여 동일한 결과가 나온 비율을 측정할 수 있고, 자연어 응답이라면 응답 간 의미적 유사도를 비교하거나 서로 모순되는 내용이 있는지(Contradiction Rate) 측정할 수도 있습니다. 평가에는 NLI(Natural Language Inference) 모델이나 LLM-as-a-Judge 등을 활용할 수 있습니다. 그리고 대화형 서비스라면 이전 대화에서 언급한 정보나 판단이 이후 답변에서도 일관되게 유지되는지(Cross-turn Consistency)를 평가 지표로 사용할 수도 있습니다.

LLM 의 정확성, 일관성을 보장하고 측정하는 방법은 추후 ​섹션 6 부분에서도 좀 더 다룰 예정이니 참고해주시면 좋을 것 같습니다! 감사합니다.