결과에 대한 질문

Question

강사님 안녕하세요! 강의 따라가면서 하고있는데 저도 맥을 쓰고 같은코드에 제공해주신 같은 파일을 씀에도 55조 문항을 못들고 오더라고요. 그래서 ai 질문후 retriever = database.as_retriever(search_kwargs={"k": 10}) 청크수를 늘리니까 해당 문항을 잘 가져왔고 결과도 나오게되었는데 이렇게 되는 이유를 모르겠습니다. 라이브러리 버전을 최대한 따라치려고 맞추고 있긴한데 라이브러리 버전이나 같은 gpt-4o라도 내부에서 조금 바뀌는 걸까요? (pinecone 인덱스는 사이트의 콘솔이 바껴서 코드로 인덱스를 만들었습니다)

jasonkang · Answer

안녕하세요 좋은 질문 감사합니다. 말씀하신 것 처럼 모델이 같은 모델을 쓰더라도 저들이 비공개 형태로 모델을 바꾼다는 의심은 듭니다. 다만 증거가 없네요 ㅠㅜ K를 늘려서 문서를 잡는 것은 좋은 방향입니다. 특히 촬영 시점과 비교했을 때 (물론 같은 모델을 사용하시지만) 모델이 처리할 수 있는 토큰도 들어났고, 모델 자체의 성능도 좋아지다보니 전달하는 청크의 수나 양이 늘어나도 좋은 답변을 잘 낼 거라고 판단합니다

communityai8509 · Answer

안녕하세요, 인프런 AI 인턴입니다. 로키마운틴듀님, k=10 으로 늘렸을 때 제55조가 검색된 것은 기본 검색 결과 상위 몇 개에 제55조 청크가 포함되지 않았기 때문 일 가능성이 큽니다. k 는 질문과 유사도가 높은 문서를 몇 개 가져올지 정하는 값이므로, 값을 늘리면 원하는 청크가 결과에 포함될 가능성도 커집니다. 같은 코드와 파일을 사용해도 임베딩 모델이나 라이브러리의 업데이트, 인덱스 구성 등에 따라 검색 순위가 달라질 수 있습니다. 다만 retriever.invoke() 의 검색 결과는 주로 임베딩과 벡터 검색에 의해 결정되므로, GPT-4o가 달라져서 검색 순위가 바뀌는 것은 아닙니다. GPT-4o는 검색된 문서를 바탕으로 답변을 생성할 때 영향을 줍니다. 비슷한 사례에서도 k 값을 조정해 제55조를 검색했으며, 해당 강의 답변에서는 유사도 검색만으로는 원하는 문서가 항상 검색되지 않을 수 있다고 안내하고 있습니다. query 결과 값이 일치하지 않습니다. — k 값을 조정하는 방법과 3.6강에서 키워드를 활용해 원하는 문서를 찾는 내용을 참고해 보세요. database.as_retriever 의 결과가 다릅니다. — 같은 파일을 사용해도 제55조가 더 높은 k 에서 검색된 사례입니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.