폐쇄망 챗봇 모델
93
작성자 없음
작성한 질문수 0
안녕하세요, 폐쇄망에 챗봇을 구축하려 합니다. 하지만, GPU가 안 되는 환경입니다.
폐쇄망 환경에서 CPU 위주로 운용한다는 제약까지 고려했을 때, 강의에서 소개된 것처럼
LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct를 생성 모델로 사용하고,
intfloat/multilingual-e5-large-instruct를 임베딩 모델로 사용하는 조합이
한국어 중심 RAG 환경에서도 여전히 합리적인 선택이라고 보시는지 궁금합니다.
답변 1
0
안녕하세요! 좋은 질문 감사합니다.
LLM의 경우 CPU로 구동한다면 아무리 작은 모델도 답변을 생성하는데 시간이 오래 걸릴거라 사용자 만족도가 얼마나 나올지 장담하기 어렵습니다. 특히 임베딩같은 경우에는 오픈소스 모델들이 한국어 임베딩에 매우 취약해서 그 부분도 걱정되네요 ㅠㅠ
소득세법 docx 파일 공유 요청건
0
64
1
EXAONE 모델 불러오기 안되는 문제
0
87
2
[5.1 강의] LLM Evaluator에 Upstage를 사용하는 방법 + 변경된 Langsmith Docs를 참고하여 구현하는 방법 공유
0
102
2
강의 9에 QA관련된 import가 되지 않네요
0
110
2
🚨 python3.14 를 쓰고 계시면 chroma 에서 ConfigError 가 발생합니다.
1
199
1
강의와 책 관련 질문
0
86
1
문서 전처리 고민
0
109
1
RAG 배포 질문드립니다
0
94
1
강의 내용과는 별개로 궁금한 점이 있습니다
0
87
2
AI agent 쿠폰
0
94
2
저는 왜 그대로 했는데 답변이 틀리게 나오는지 모르겠네요
0
100
2
langchain howto/sequence는 지금 doc 공식 사이트 어디서 확인할 수 있나요?
1
94
1
new_question에 대한 답 출력
0
72
2
랭체인 라이브러리
0
147
2
[LangGraph를 활용한 AI Agent 개발] 쿠폰 유효기간
0
105
1
postgresql의 pgvector 벡터는 어떤가요?
0
343
2
doc관련
0
127
2
load_dotenv() 실행 False
0
93
1
RAG 답변 개선을 위한 정답지 활용 구조 검토 요청
0
118
2
3.2 from langchain.chains ~ 에서 모듈을 찾지 못할 때.
1
404
2
강의 완료 오류
0
87
1
hub.pull 이슈
0
129
2
[3.3 강의] Upstage를 사용한 RAG 구현 성공기 공유
1
148
1
RAG 문서 관리 방법
0
106
2