tootoo

안녕하세요 이진만 입니다최근 gemini정책이 무료 api 사용에 대해 일 사용 limit 을 매우 적게 주고 있습니다Gemini는 카드 등록 후 사용량에 따라 비용이 지불 됩니다 개발 용으로 사용한다면 월 비용은 매우 적게 지불 될 것입니다&nbsp;Part2에 gemini 셋팅 한번 보시면 좋을거 같네요&nbsp;결론적으로는 gemini api는 무료 사용으로는 한계가 있습니다&nbsp;

챗봇 기능 구체화 (RAG)

안녕하세요 이진만 입니다.<ol><li>MCP 서버 구동 시 LLM과의 연동에 어느정도 시간이 소요 됨으로 webflux 랑 쿠버네티스 EKS를 이용하여 MCP 서버를 구축 함으로서 원활한 서비스를 만들어 낼수 있을 것으로 보입니다. 이렇게 MCP 서버를 연결 할때는 MCP 서버의 진행 상황을 모니터링하고 진행 상황을 추적 할 수 있는 시스템과 중간에 오류가 발생 했을때의 오류 처리 전략도 중요한 요소 입니다.</li><li>사용자의 선호도 같은 경우는 일반적으로 DB에 저장 해서 사용하는 방법을 사용합니다. 만약 pgvector를 이용한다면 유사한 성향의 사용자 그룹 탐색 또는 클러스터 기반 개인화 전략 등을 진행 할수 있을 것 같습니다.</li><li>채팅 저장 부분에 있어서는 pgvector를 이용하여 유사도 검색으로 전체를 다 검색 하는 것 보다는 일부 유사한 내용들만 검색 하는 시스템을 구축 하는 것이 좋은 방법 인거 같습니다. 다만 최근은 사용자의 질문이 많아 지면서 다음과 같은 하이브리드 형식으로 만드는 것도 사용됩니다. 이를 통해</li></ol><ul><li>1) 최근 N개 대화는 일반 인덱스로 조회(즉 일시별로 최근 N개를 조회),</li><li>이부분은 Redis를 이용하여 사용 할 수도 있습니다.</li><li>2) 과거 대화 중 유사도 Top-K만 벡터 검색</li><li>3) 두 결과를 결합하여 LLM 컨텍스트 구성</li></ul>&nbsp;<ol start="4"><li>사용자의 질문에 대한 캐싱 처리는 redis를 이용하여 영구 보존이 아닌 서비스 사용 시 활용 하는 방법이 좋은 방법 인거 같습니다. 이를 통해 동일 질문 응답 캐싱관 같은 관리를 하는 것이 좋은 예 입니다.</li></ol>

mcp 사용 여부

안녕하세요이진만 입니다유사한 프로젝트를 학부생들과 몇차례 진행을 했습니다Few shot 기법으로도 프로젝트 진행에 문제는 없습니다만현장에서는 보다 정확한 데이터 형식이 요구 되므로Chapter2에서 언급한 Structured Output Converter 를 이용하는 방법이 좋은 방법 입니다&nbsp;감사합니다

gpt 대답에 대한 궁금한점

안녕하세요 이진만 입니다본 강의 관심 가져 주셔서 감사합니다현재 질문 하신 내용이 몇 chapter 진행 인지 알수 있을까요&nbsp;본 파일은 모든 chapter에 postgresql 설치 설명 파일 입니다모든 랩 파일에 존재 합니다&nbsp;src/resources/templates/pages/setting 폴더에 있습니다&nbsp;

tootoo

Posts