폐쇄망 챗봇 모델
117
작성자 없음
안녕하세요, 폐쇄망에 챗봇을 구축하려 합니다. 하지만, GPU가 안 되는 환경입니다.
폐쇄망 환경에서 CPU 위주로 운용한다는 제약까지 고려했을 때, 강의에서 소개된 것처럼
LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct를 생성 모델로 사용하고,
intfloat/multilingual-e5-large-instruct를 임베딩 모델로 사용하는 조합이
한국어 중심 RAG 환경에서도 여전히 합리적인 선택이라고 보시는지 궁금합니다.
답변 1
0
안녕하세요! 좋은 질문 감사합니다.
LLM의 경우 CPU로 구동한다면 아무리 작은 모델도 답변을 생성하는데 시간이 오래 걸릴거라 사용자 만족도가 얼마나 나올지 장담하기 어렵습니다. 특히 임베딩같은 경우에는 오픈소스 모델들이 한국어 임베딩에 매우 취약해서 그 부분도 걱정되네요 ㅠㅠ
RAG 파이프라인 고도화와 파인튜닝의 우선순위 및 실무적 판단 기준이 궁금합니다.
0
48
2
책과 차이점
0
56
2
Langchain 공식문서 학습 질문
0
96
2
온톨로지 활용
0
86
2
ollama설치해서 llama로 돌려도 되나요?
0
93
2
소득세법 docx 파일 공유 요청건
0
138
1
EXAONE 모델 불러오기 안되는 문제
0
122
2
[5.1 강의] LLM Evaluator에 Upstage를 사용하는 방법 + 변경된 Langsmith Docs를 참고하여 구현하는 방법 공유
0
157
2
강의 9에 QA관련된 import가 되지 않네요
0
154
2
🚨 python3.14 를 쓰고 계시면 chroma 에서 ConfigError 가 발생합니다.
1
298
1
강의와 책 관련 질문
0
121
1
문서 전처리 고민
0
139
1
RAG 배포 질문드립니다
0
121
1
강의 내용과는 별개로 궁금한 점이 있습니다
0
126
2
AI agent 쿠폰
0
112
2
저는 왜 그대로 했는데 답변이 틀리게 나오는지 모르겠네요
0
131
2
langchain howto/sequence는 지금 doc 공식 사이트 어디서 확인할 수 있나요?
1
118
1
new_question에 대한 답 출력
0
95
2
랭체인 라이브러리
0
198
2
[LangGraph를 활용한 AI Agent 개발] 쿠폰 유효기간
0
128
1
postgresql의 pgvector 벡터는 어떤가요?
0
467
2
doc관련
0
155
2
load_dotenv() 실행 False
0
114
1
RAG 답변 개선을 위한 정답지 활용 구조 검토 요청
0
135
2