별도로 llama3.2-3b-64k 모델을 만드신 이유가 궁금합니다.

Question

안녕하세요! 너무 좋은 강의 감사합니다!! 해당 영상에서 별도로 llama3.2-3b-64k 모델을 만드신 이유가 궁금합니다. 자체적으로 이미 ollama pull해서 받은 2GB모델이 있는데, 하나 더 다운 받아서 굳이 space를 2배 차지하는 이유가 있을까요? (PS. mirroring이더라도 왜 이렇게 하셨는지 궁금합니다) -f 명령어가 해당 ModelFile을 바라보게 하는 명령어일까요?

Dante(곽지호) · Answer

안녕하세요 서쿠님. 번호달아서 답변드릴게요. 1. 디스크는 2배가 되지 않습니다 Ollama는 모델 가중치를 digest 기반 blob으로 저장하고, 파생 모델은 그 blob을 그대로 참조합니다. 복사하지 않습니다. ollama create를 실행하실 때 화면에 뜨는 using existing layer sha256:... 이 바로 이 메시지입니다. 새로 만들어지는 것은 파라미터·템플릿이 담긴 수 KB짜리 메타데이터 레이어와 매니페스트 파일뿐입니다. ollama list가 두 모델 모두 2GB로 표시하는 건 각 모델의 논리적 크기이지 디스크 점유의 합이 아닙니다. 직접 확인해보세요. ollama list # 두 모델 각각 2GB로 표시됨 du -sh ~/.ollama/models/blobs # 실제 디스크 점유 — 2GB대에서 거의 그대로 하드링크와 비슷한 개념이라고 생각하시면 됩니다. 2. 컨텍스트 길이 때문 별도로 만든것입니다. llama3.2:3b를 그냥 쓰면 컨텍스트가 4k(4096 토큰) 입니다. Ollama 공식 문서가 명시하는 기본값입니다. Ollama defaults to the following context lengths based on VRAM: - < 24 GiB VRAM: 4k context - 24-48 GiB VRAM: 32k context - >= 48 GiB VRAM: 256k context 그런데 같은 문서에 이런 문장이 있습니다. Tasks which require large context like web search, agents, and coding tools should be set to at least 64000 tokens. 강의에서 쓴 64k가 바로 이 권고 수치입니다. 임의로 정한 숫자가 아닙니다. Hermes는 대화를 시작하기 전부터 SOUL.md , 도구 정의, 스킬 목록, 메모리를 시스템 프롬프트로 밀어 넣습니다. 4k 컨텍스트라면 첫 질문을 던지기도 전에 상당 부분이 소모되고, 남은 공간에서 도구 호출과 그 결과까지 오가야 합니다. 대화가 조금만 길어지면 앞부분이 잘려 나가면서 에이전트가 자기가 뭘 하던 중이었는지 잊어버립니다. 로컬 모델이 유독 멍청해 보이는 원인의 상당수가 실은 모델 성능이 아니라 이 컨텍스트 부족입니다. 3. -f 플래그는 Modelfile의 경로를 지정하는 플래그입니다. FROM llama3.2:3b PARAMETER num_ctx 64000 ollama create llama3.2-3b-64k -f Modelfile FROM에 이미 받아둔 로컬 모델 이름을 쓰면 재다운로드도 없습니다.