혹시 로컬llm을 활용해서 RAG를 구현하는 예제도 한번 올려주시면 안될까요?
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 2 - 랭체인(LangChain)으로 나만의 ChatGPT 만들기
기업이나 연구소에 근무하시면서 상용 llm을 활용해서 서비스를 개발하시는 분들도 많겠지만 로컬pc 24G정도의 vram에 ollama로 Gemma3 27B ( 모델용량 17GB)정도의 모델을 올리면 개인이 가지고 있는 문서들을 따로 토큰을 쓰지않고도 벡터화해서 필요할때 질의응답 하는 용도로 활용가능할거 같은데요 https://m.blog.naver.com/PostView.naver?blogId=se2n&logNo=223625573379&navType=by 강의중에 codeLlama 연동하시는 부분은 봤는데 ollama로 연동하는 방법이 궁금합니다
- langchain
- gemma227b6q
- localllm
- rag
neyeum
댓글 2
좋아요 0
조회수 1187