향후 로컬LLM을 사용하는 강의가 나올 수 있을까요?
170
작성한 질문수 2
커머셜이나 금융 얘기해주셨는데
전자는 권리 문제 후자는 보안문제때문에
강의에 사용된 openAI 모델은 사용하기 힘듭니다.
양쪽 문제를 해결할 수 있는게 로컬AI라고 생각하는데요. 현재는 LLAMA3이 나와있고, LLAMA4가 상반기에 출시된다고 들었는데 해당 70b~8b 모델 정도로 실무에 적용가능한 현실적인 강의도 있을 수 있는지 궁금합니다.
답변 1
1
안녕하세요. 좋은 의견 감사합니다.
영어를 사용한다면 로컬 LLM으로 충분한 성능을 낼 수 있으나, 한국어에 대해서는 작년 하반기까지도 일반 노트북에서 괜찮은 성능(속도, 품질)을 보여주는 모델이 거의 없었습니다. LLAMA3도 한국어를 공식 지원하고 있지는 않습니다.
따라서, 일반 노트북으로 실습하는 분들을 대상으로 로컬 LLM 기반 RAG나 높은 수준의 추론을 요구하는 Task에 적용하기는 부담스러운 상황이라고 판단하고 있습니다.
최근 출시되는 모델에 대해서 어느 정도 성능 검증이 되면, 오픈소스 기반의 강의를 준비할 수 있을 것 같습니다.
감사합니다.
섹션2-11 내용중 tool_call
0
23
2
gradio 를 통한 챗봇 인터페이스 실습이 진행되지 않습니다.
0
46
1
모델의 성능에 따라서 선택하는 도구가 많이 차이 나나요?
0
143
2
Fan-in 시 여러개 노드에서 하나로 병합되는 과정에서 질문 입니다.
0
79
3
로드맵
0
111
2
강의 46에서 노드의 병렬 수행시 Thread-Safety 문제는 없을까요?
0
106
2
similarity_search 후 왜 다시 LLM을 통해 grade를 측정 하나요?
0
107
2
agent_executor 실행시 JSONDecodeError에러가 발생해요.
0
147
4
툴의 숫자가 많을때 동작
0
124
2
안녕하세요 후속강의 듣고 싶은데, 비용이 부담되어서..
0
140
2
[실습을 위한 환경 설정 방법] 자료가 없습니다.
0
178
3
최근 안내해주신 수강생 이벤트 관련 문의입니다.
0
111
1
AI 에이전트로 구현하는 RAG 시스템 수강생입니다.
0
156
1
수업 자료 문의
0
177
3
docker 환경에서 해당 서비스를 구성해보는 건 어떤가요?
0
175
2
numpy 설치 에러
0
489
1
The onnxruntime python package is not installed.
0
223
1
섹션 5, 사용자 정의 조건부 엣지 관련 질문입니다.
0
131
1
강사님의 LLM 모델의 버전이 어떻게 되나요?
0
225
1
Agent RAG 구현에서 '정보 추출 및 평가' 노드 결과 애러
0
128
2
메시지 그래프/피드백 루프 활용하기에서 질문
0
110
1
에이전틱 루프에서의 병렬 노드 구현 문의
0
141
2
[공유] llama3-groq 모델명 수정 필요
0
198
1
수업자료 문의
1
214
2