evaluate_retrieval_at_K 함수 문의드립니다.
64
投稿した質問数 8
안녕하세요, krag 라이브러리가 pip 서버에는 등록이 되어있는데 상세한 정보는 찾을 수가 없어서 문의드립니다.
일정 한도 내에서는 무료로 사용할 수 있는 Gemini API를 통해서 검색 성능을 평가중에 있는데, 중간중간 NaN값이 나오길래 추적해봤더니 API 분당 호출 수가 초과해서 값을 호출받지 못하는 경우가 생기더라구요.
time.sleep을 걸고싶어도 이게 함수 자체로 전체 데이터프레임을 순회하는지라.. 혹시 delay를 넣을 수 있는 옵션이 있을까요?
回答 2
1
해결했습니다.
아나콘다 가상환경의 라이브러리 설치 디렉터리의 krag/utils.py 에서 time.sleep 코드 추가했습니다.
저랑 같은 이슈 있으신 분은 해당 라이브러리에서 코드 수정 후 사용하시면 될 것 같습니다.
수정된 코드 일부 공유드립니다.
매개변수에 time_delay 추가 후 저장하시면 됩니다.
outputs = []
for idx, row in tqdm(df_qa_test.iterrows(), total=len(df_qa_test), desc="Processing questions"):
question = row['question']
context_docs = context_to_document(df_qa_test, idx)
for retriever_key, retriever in set_retrievers.items():
# API time delay
time.sleep(time_delay)
try:
retrieved_docs = retriever.invoke(question)
0
빠르게 해결하셔서 다행입니다.
gemini 무료 사용 api 호출 한도에 제한 문제를 잘 해결하신 것 같습니다.
추후 업데이트에 delay 옵션을 반영하겠습니다.
감사합니다.
테스트데이터셋 평가지표 값 문제
0
47
1
언어 감지 및 검색 라우팅
0
48
2
동영상이 검은 화면으로 나옵니다.
0
62
2
강의가 진행되지 않습니다.
0
61
2
'팀 단위 AI 업무 혁신' 자문 관련하여 문의드리고자 합니다. (연락처 요청)
0
51
1
Rerank에 대해 질문드립니다.
0
64
2
Cross Encoder Reranker 임포트 에러 관련 내용입니다.
0
97
2
HuggingFaceCrossEncoder 임포트 에러
0
80
2
아나콘다랑 pytry없이. 단순 파이참에서 venv 설정해서 설치하는건 불가능하나요?
0
78
1
2.7 전체 RAG파이프라인 구성에서 4번째 줄 오류
0
77
1
rag 와 랭체인
0
108
2
score 기반 서치
0
48
2
KR.txt파일이 없습니다.
0
76
2
krag를 이용한 검색기법 평가관련 질문
0
74
2
MMR 관련 질문입니다.
0
83
1
Text_splitter관련 질문입니다.
0
58
2
오픈api key는 따로 구매해야되는 걸까요?
0
246
2
과거 채팅이력을 LLM에 줄때 포멧
0
71
1
OpenAIEmbeddings모델이 사용하는 토크나이저는 뭘까요?
0
170
2
ChatPromptTemplate의 from_messages로 메세지를 구성할 때 system은 어떻게 설정해야하나요?
0
93
2
create_retrieval_chain에서 context는 지정된 인자인가요?
0
60
1
vectorstore의 as_retriever와 similarity_search는 같은 로직인가요?, 사용되는 검색 알고리즘은 뭔가요?
0
88
2
검색기 관련 질문드립니다.
0
86
2
2-3 임베딩모델 에러
0
166
2