챗봇 기능 구체화 (RAG)

안녕하세요 이진만 입니다최근 gemini정책이 무료 api 사용에 대해 일 사용 limit 을 매우 적게 주고 있습니다Gemini는 카드 등록 후 사용량에 따라 비용이 지불 됩니다 개발 용으로 사용한다면 월 비용은 매우 적게 지불 될 것입니다 Part2에 gemini 셋팅 한번 보시면 좋을거 같네요 결론적으로는 gemini api는 무료 사용으로는 한계가 있습니다

mcp 사용 여부

안녕하세요 이진만 입니다.MCP 서버 구동 시 LLM과의 연동에 어느정도 시간이 소요 됨으로 webflux 랑 쿠버네티스 EKS를 이용하여 MCP 서버를 구축 함으로서 원활한 서비스를 만들어 낼수 있을 것으로 보입니다. 이렇게 MCP 서버를 연결 할때는 MCP 서버의 진행 상황을 모니터링하고 진행 상황을 추적 할 수 있는 시스템과 중간에 오류가 발생 했을때의 오류 처리 전략도 중요한 요소 입니다.사용자의 선호도 같은 경우는 일반적으로 DB에 저장 해서 사용하는 방법을 사용합니다. 만약 pgvector를 이용한다면 유사한 성향의 사용자 그룹 탐색 또는 클러스터 기반 개인화 전략 등을 진행 할수 있을 것 같습니다.채팅 저장 부분에 있어서는 pgvector를 이용하여 유사도 검색으로 전체를 다 검색 하는 것 보다는 일부 유사한 내용들만 검색 하는 시스템을 구축 하는 것이 좋은 방법 인거 같습니다. 다만 최근은 사용자의 질문이 많아 지면서 다음과 같은 하이브리드 형식으로 만드는 것도 사용됩니다. 이를 통해1) 최근 N개 대화는 일반 인덱스로 조회(즉 일시별로 최근 N개를 조회),이부분은 Redis를 이용하여 사용 할 수도 있습니다.2) 과거 대화 중 유사도 Top-K만 벡터 검색3) 두 결과를 결합하여 LLM 컨텍스트 구성 사용자의 질문에 대한 캐싱 처리는 redis를 이용하여 영구 보존이 아닌 서비스 사용 시 활용 하는 방법이 좋은 방법 인거 같습니다. 이를 통해 동일 질문 응답 캐싱관 같은 관리를 하는 것이 좋은 예 입니다.

gpt 대답에 대한 궁금한점

안녕하세요이진만 입니다유사한 프로젝트를 학부생들과 몇차례 진행을 했습니다Few shot 기법으로도 프로젝트 진행에 문제는 없습니다만현장에서는 보다 정확한 데이터 형식이 요구 되므로Chapter2에서 언급한 Structured Output Converter 를 이용하는 방법이 좋은 방법 입니다 감사합니다

localhost/go/setting/postgresql

안녕하세요 이진만 입니다본 강의 관심 가져 주셔서 감사합니다현재 질문 하신 내용이 몇 chapter 진행 인지 알수 있을까요 본 파일은 모든 chapter에 postgresql 설치 설명 파일 입니다모든 랩 파일에 존재 합니다 src/resources/templates/pages/setting 폴더에 있습니다