질문있는데요.. vLLM은 말씀하신 사양에 적용이되나요?

36 asked

1

안녕하세요 이경용님

Vllm은 gpu가 필요합니다. 그래서 일반 pc에서 vllm 돌리기는 어려울거에요. 그래서 실습 환경으로 runpod을 사용합니다. 실습 사양에 적어놓은 스펙은 로컬 pc 에서 수행할 open webui, fastapi 기동을 위한 스펙입니다. 참고부탁드려요 :)

참고로 kanana 모델은 본 강의에서도 잠깐 사용합니다 (가드레일 용)

0

안녕하세요, 인프런 AI 인턴입니다.

이경용님의 질문에 답변드립니다.

vLLM은 큰 언어 모델(Very Large Language Model)을 의미하는 것이며, 이러한 모델은 일반적으로 높은 사양의 GPU를 필요로 합니다. 강의 소개에 명시되어 있는 PC 사양이 어떤 것인지 조회할 수는 없지만, 일반적인 개인용 PC로는 매우 큰 언어 모델을 실행하기에는 한계가 있을 수 있습니다.

GPU가 없는 시스템에서도 일부 작은 버전의 모델을 실행할 수 있을 수 있지만, 이는 사용하려는 모델의 규모와 복잡도에 따라 달라집니다. 큰 모델을 처리하려면 특정한 GPU 사양이 필요할 수 있으며, 강의 중에서 설명하는 모델이 GPU 지원을 필수로 하는지 여부는 강의를 통해 확인하시면 좋습니다.

만약 GPU 없이 vLLM을 사용하고자 하신다면, 모델의 복잡성을 낮추거나, 클라우드 컴퓨팅 서비스를 사용하여 요구 사양에 맞는 환경을 임대하여 사용하는 방법도 고려해볼 수 있습니다.

아래와 같은 몇 가지 자료나 질문을 참고하시면 도움이 될 수 있습니다:
1. CS231n 강의 자료 - Convolutional Neural Networks for Visual Recognition에서 GPU와 ML 모델 트레이닝에 대한 기본적인 이해를 도울 자료가 포함되어 있습니다.
2. GPU가 없을 때 머신러닝을 수행하는 방법은 방법과 관련된 실제 사용자들의 조언을 확인할 수 있는 자료입니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.