안녕하세요 Safety 체인에 대해서 이해가 잘 안가서요. 예를들어 "독도는 누구땅이냐?"는 질문으로 하고 AI가 "독도는 한국땅"이다라는 응답을 했을때 해당 답변이 할루시네이션인지 아닌지를 검증하기 위한 "독도는 한국땅이 맞아 맞으면: Yes, 틀리면: No 로 대답해줘" 라는 Safety 질문을 만들고 그거를 체인으로 연결시키라는걸로 이해했는데 맞을까요?

안녕하세요! 좋은 질문 감사합니다. 말씀하신 내용도 맞고, 일반적으로는 <code>서비스 하고자 하는 주제와 관련 없는 내용들</code> 을 safety로 거르는게 좋습니다. 예를들어 사내 서비를 운영한다면, 회사에 대해 부정적인 답변을 내고자 프롬프트로 공격을 한다거나, 아예 서비스와 관련 없는 질문들을 해서 토큰을 낭비하는 것을 막는 것입니다.

Inflearn コミュニティ Q&A

Safety 이해