월 20,020원
5개월 할부 시종버
2026-04-131801376안녕하세요, 선생님. 파인튜닝 과정에서 OOM 문제가 자주 발생해서 GPU 서버 대여를 고려하고 있습니다. 혹시 강의에서 GPU 서버 대여 방법이나, 실제로 대여해서 작업할 때 필요한 실무적인 팁도 함께 다루는지 궁금합니다. 커리큘럼이 전반적으로 좋아 보여 수강을 고민 중인데, 이런 부분까지 배울 수 있다면 큰 도움이 될 것 같습니다.
jjanec2026-04-131801239안녕하세요. vLLM 학습 시 runpod를 사용하신다 하셨는데, 혹시 로컬에 16GB Vram GPU로 대신해서 수강이 가능할까요?
김현진2026-04-13532920안녕하세요 jjanec님! 실습에서 주로 사용하는 모델이 gpt-oss-20b모델입니다. 이 모델을 올리고 추론하려면 16gb에서도 가능할수는 있으나 vram이 조금 부족해보이긴 하네요. 아마도 간신히 가능은 할 것 같습니다. 다만 제가 runpod이 아닌 환경에서 어떤 문제가 있을지는 장담할 수 없어서 확답드릴 수 없는 부분은 양해 부탁드립니다. 그리고 실습 내용 중 멀티 gpu 구성 및 테스트하는 내용도 있어서 이 부분은 실습하시기에는 어려울거에요. 우선 vllm설치하셔서 gpt-oss-20b 모델 로드가 되는지 우선 보시는게 좋을 것 같습니다. 감사합니다
- 2026-04-121800863
선생님 안녕하세요. 강의 커리큘럼이 제가 원하는 방향과 잘 맞는 것 같아 수강을 고민하고 있습니다. 평소 모델을 돌릴 때 GPU 메모리 부족 문제를 자주 겪는데, 이 강의를 통해 그런 부분을 해결하거나 GPU를 더 효율적으로 활용하는 방법도 배울 수 있을지 궁금합니다. 감사합니다!
김현진2026-04-13532776안녕하세요 종버님! 혹시 GPU 메모리 부족 문제는 어떤 상황에서 발생하는 문제일까요? 본 과정이 메모리 부족 발생시의 트러블 슈팅과 같은 내용을 다루지는 않습니다. 다만 모델을 GPU 에 올릴 때 GPU 메모리를 어떻게 할당받게 되는지 내용을 다루고 있어서 겪고 계신 문제에 대한 힌트를 얻으실 수는 있지만 원하시는 명확한 답을 얻지 못할 수도 있습니다. GPU를 더 효율적으로 활용하는 방법은 (1) MIG를 나누거나 (강의에서 다루고 있습니다) (2) max-seq-len 같은 파라미터를 조절하거나 (강의에서 다루고 있습니다) (3) kv-cache-dtype 값을 양자화(8bit)로 하거나 그런 방법들이긴 합니다. (강의에서 다루지 않습니다) "더 효율적" 으로 사용하는 구체적인 방법은 다루고 있지 않은 점도 참고 부탁드려요 :)
안녕하세요 Gpu 대여 과정 자체에 대해서는 실무적인 팁은 별도로 없습니다. 그냥 runpod 서버 대여 과정만 다루게 될거에요. 다만 Nvidia 멀티 gou를 쓸때 nvlink 관련한 구성을 알아보는 방법은 다룹니다. 지금 겪고계신 파인튜닝시의 메모리 부족 문제는 아마도 배치사이즈 때문인것 같은데 이건 kv cache 하고도 연관이 있습니다. 본 과정에서 파인튜닝을 다루지는 않지만 kv cache를 이해하는데에는 도움이 될 수 있을 것 같네요 :)