안녕하세요, 폐쇄망에 챗봇을 구축하려 합니다. 하지만, GPU가 안 되는 환경입니다. 폐쇄망 환경에서 CPU 위주로 운용한다는 제약까지 고려했을 때, 강의에서 소개된 것처럼 LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct를 생성 모델로 사용하고, intfloat/multilingual-e5-large-instruct를 임베딩 모델로 사용하는 조합이 한국어 중심 RAG 환경에서도 여전히 합리적인 선택이라고 보시는지 궁금합니다.

안녕하세요! 좋은 질문 감사합니다. LLM의 경우 CPU로 구동한다면 아무리 작은 모델도 답변을 생성하는데 시간이 오래 걸릴거라 사용자 만족도가 얼마나 나올지 장담하기 어렵습니다. 특히 임베딩같은 경우에는 오픈소스 모델들이 한국어 임베딩에 매우 취약해서 그 부분도 걱정되네요 ㅠㅠ

인프런 커뮤니티 질문&답변

폐쇄망 챗봇 모델