inflearn logo
강의

Course

Instructor

Mastering Local LLMs with a Silicon Valley Engineer (LM Studio & Ollama & Ollaya)

Open LLM: Why Do You Need to Know About It Now?

지금 첫강의 듣고 있는데요, 필요한 최소사앙은 어떻게 되나요?

Resolved

48

00276423

6 asked

0

그냥 직장인이고 취미로 하는건데,
구형 맥미니 정도면 운영가능한가요?
간단하게라도 알려주시면 감사하겠습니다.

인공지능(ai) llm ai-agent

Answer 2

0

00276423

네 설명 감사합니다.

0

altoformula

안녕하세요 사용자27님!

구형 맥미니에서도 충분히 로컬 LLM을 실행할 수 있습니다. 다만 맥미니의 칩셋(Intel/M1/M2 등)과 메모리 용량에 따라 실행 가능한 모델과 속도가 달라집니다.

최소한의 권장 사양은 다음과 같습니다.

  • Apple Silicon(M1 이상), RAM 8GB: 1B~3B 정도의 소형 모델부터 시작하는 것을 추천합니다.

  • RAM 16GB: 7B~8B 모델도 양자화 버전(Q4)으로 실행해 볼 수 있습니다.

  • Intel 맥미니: 실행은 가능하지만 속도가 상당히 느릴 수 있어 작은 모델을 추천합니다.

처음 시작하신다면 LM Studio나 Ollama를 설치하고 1B~3B 모델부터 테스트해 보시면 좋겠습니다.

감사합니다.

28강 프롬프트 요청(3:33)

0

17

2

memory 설치시 오류가 납니다.

0

18

0

Asset 파일 안에 이미지가 없습니다.

0

18

1

설치

0

14

0

프롬프트. 웹검색, 연구 모드 등

0

20

1

클로드 시작 화면

0

26

4

파워쉘 시작장소

0

19

1

버젼확인

0

17

1

3.5 강의내용중

0

23

2

버전이 다른데 계속 강의를 진행하면 어떻합니까?

0

13

1

AI 시대에 전통적으로 공부하는게 맞을까요?

0

18

1

업데이트는 안되는건가요 ???

0

29

1

강의에서 실행하는 데이터(csv파일)은 어디서 다운받나요?

1

22

2

너무 초보적인 질문입니다.

0

20

2

윈도우 파워쉘

0

21

2

git 다운로드 관련

0

20

1

사용량은 어디에서 체크하나요? 화면이 바뀐거 같아요.

0

21

1

랭그래프의 노드 직선연결

0

21

1

output style

0

23

2

스타터킷이 로컬호스트로 접속해서 웹화면으로 구현되어야 하는 이유가 뭔가요?

0

18

2

강사님 질문이 있는데요.

0

48

1

조금 전에 18강을 들었는데요..

0

51

2

LLM Sampling 설정 관련

0

91

1

선생님 질문이 있어요

0

151

2