inflearn logo
강의

Course

Instructor

Mastering Local LLMs with a Silicon Valley Engineer (LM Studio & Ollama & Ollaya)

How to Choose a Good Model (Criteria to Avoid Wasting Money)

조금 전에 18강을 들었는데요..

Resolved

51

00276423

6 asked

0


제목이 아래와 같았는데요...
18.좋은 모델 고르는 법 (헛돈 쓰지 않는 기준)

강의내용 중에는 헛돈 쓰지 않는 기준에 대해서는 언급이 없어서요.

올라마도 20불짜리 유료서비스가 있는거는 말씀하셨는데... 강의제목과 관련된 내용은 없어서요..

당초에는 어떤 의도로 계획하셨던건지 궁금하네요.

사실 저는 OPen LLM을 설치하면 챗gpt나 클로드 같이 추가적인 구독이나, API, 토큰 결제없이,
내 pc에서 이미지를 만들거나 쇼츠를 만들 수 있지 않을까 생각했는데..그게 가능한가요?... 아직 말 모르겠네요


인공지능(ai) llm ai-agent

Answer 2

0

00276423

설명 감사합니다 .또 생각해 보겠습니다. 감사합니다.

0

altoformula

안녕하세요 사용자27님,

18강은 단순히 성능이 좋은 모델을 선택하는 것이 아니라, 모델의 크기, 하드웨어 사양, 양자화 수준, 사용 목적 등을 고려하여 자신에게 적합한 모델을 선택하는 방법을 설명하려는 의도로 구성했습니다. 다만 제목에 비해 설명이 부족하게 느껴지셨을 수 있을 것 같습니다. 이 부분은 향후 보충을 검토하겠습니다.

말씀하신 것처럼 로컬 LLM의 장점 중 하나는 외부 API 호출이나 추가 구독료 없이 자신의 컴퓨터에서 모델을 실행할 수 있다는 점입니다. 다만 모델에 따라 하드웨어 성능과 메모리 제약이 있고, 클라우드 모델과 성능 차이도 있을 수 있습니다.

참고로 강의 뒷부분에는 Ollama Cloud를 사용하는 실습도 포함되어 있습니다. 로컬 환경뿐 아니라 클라우드 모델을 활용하는 방법도 경험해 보실 수 있습니다. 다만 Ollama Cloud는 사용량과 요금 정책에 따라 소량의 비용이 발생할 수 있습니다. 저 같은 경우에는 ChatGPT를 사용해서 이미지를 생성하고, 그것들을 로컬에 자동으로 다운 받게 만든 후, Local LLM에서 사용하고 있습니다.

이미지 생성의 경우에는 ComfyUI를 활용하면 로컬 PC에서도 이미지 생성 모델을 실행할 수 있습니다. 다만 현재 강의에는 ComfyUI를 이용한 이미지 생성 실습은 포함되어 있지 않습니다.

소중한 피드백 감사드리며, 앞으로 강의를 보완하는 데 참고하겠습니다. 감사합니다!

28강 프롬프트 요청(3:33)

0

17

2

memory 설치시 오류가 납니다.

0

18

0

Asset 파일 안에 이미지가 없습니다.

0

18

1

설치

0

14

0

프롬프트. 웹검색, 연구 모드 등

0

20

1

클로드 시작 화면

0

26

4

파워쉘 시작장소

0

19

1

버젼확인

0

17

1

3.5 강의내용중

0

23

2

버전이 다른데 계속 강의를 진행하면 어떻합니까?

0

13

1

AI 시대에 전통적으로 공부하는게 맞을까요?

0

18

1

업데이트는 안되는건가요 ???

0

29

1

강의에서 실행하는 데이터(csv파일)은 어디서 다운받나요?

1

22

2

너무 초보적인 질문입니다.

0

20

2

윈도우 파워쉘

0

21

2

git 다운로드 관련

0

20

1

사용량은 어디에서 체크하나요? 화면이 바뀐거 같아요.

0

21

1

랭그래프의 노드 직선연결

0

21

1

output style

0

23

2

스타터킷이 로컬호스트로 접속해서 웹화면으로 구현되어야 하는 이유가 뭔가요?

0

18

2

강사님 질문이 있는데요.

0

48

1

지금 첫강의 듣고 있는데요, 필요한 최소사앙은 어떻게 되나요?

0

48

2

LLM Sampling 설정 관련

0

91

1

선생님 질문이 있어요

0

151

2