인프런 커뮤니티 질문&답변

아쉽네요 ㅠㅠ 다름이 아니라 저희 회사에서 강사님들이 보시는 공고를 일정한 UI 형태와 간단한 검색 기능으로 검색 기능을 제공하고있습니다. 이번에 RAG 강의를듣고 Mysql에 있는 공고 데이터를 벡터 데이터베이스에 넣어서 유사도 검색 기능을 추가하면 좋을거같다는 생각이 들었습니다. 예를들어서 사용자가 채팅으로 "서울 강서구에 체육 복싱 관련 공고 가져와줘" 라고 할 경우 복싱 관련 공고를 가져올수있도록 말이죠, 공고 메타데이터로는 공고 원문 링크, 분야(체육, 미술 등(큰 카테고리 한정)), 상세 내용, 공고 마감일 등 데이터가 들어갑니다.

여기서 문제점은

1. 벡터 db에 마감일자가 지난 공고를 프롬프트로만 필터링이 가능한지
- 마감일 2025년 9월 19일 공고가 있고 오늘이 20일이면 추천해서 안됨
2. 하루에 몇십개씩 공고를 저장하는데 벡터 db와 mysql 데이터 싱크를 맞춰야하는데 이러한 케이스가 있는지

해당 질문들을 합당한 금액으로 질문드리는게 맞는거같아서요. 멘토링 가능하실때 알려주시면 위 질문들로 요청드리겠습니다.

감사합니다.

안녕하세요! 멘토링은 현재 시간내기가 여러워서 질문해주신 내용에 대해 답변을 드리자면

1. 벡터db만 두고 본다면 공고의 마감일자 기준으로 필터링을 하시면 됩니다. LangChain이 1.x로 출시하면서 공식문서를 찾기가 힘들어졌는데요, 아래 링크를 보시면 필터링에 관한 내용이 설명되어 있습니다

   1. https://python.langchain.com/docs/concepts/vectorstores/#metadata-filtering

   2. 예제는 값이 같을 때(eq)만 보여주고 있지만 gte, lte 등 다양한 연산이 가능합니다. 예시로 파인콘 문서를 전달드립니다

      1. https://docs.pinecone.io/guides/index-data/indexing-overview#metadata-filter-expressions

2. 공고를 저장할 때 실시간성이 보장되어야 한다면, 새로 추가되는 데이터는 바로 벡터 디비에 연동하는 것은 무리 없을 것 같고, 공고가 수정되는 경우에는 batch형태로 처리해서 특정 시간별로 sync를 맞추는 식으로 진행하시는게 가장 무난할 것 같습니다.