There are no longer any instances available with the requested specifications. Please refresh and try again.

Question

안녕하세요 선생님. 강의 잘 듣고 있습니다. Runpod 옵션에 대해서 최신 사항을 갱신해야 될 것 같아요ㅠㅠ 만들어진 지 얼마 안된 강의임에도 불구하고 현재 Runpod 에서 CUDA versions 12.8 기준으로 선택할 수 있는 GPU 선택지가 거의 없습니다.. 이유는 모르겠으나 RTX 4090, 5090 으로 생성 하려고 해도 아래와 같은 경고문만 뜨네요. 하는 수 없이 RTX PRO 6000 WK 으로 선택해서 진행 중입니다. 어제는 RTX 5080 이 선택 가능하길래, 이걸로 진행했다가 오늘 아침에 다시 restart하니까 에러가 뜨더라고요.. ps. torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 394.00 MiB. GPU 0 has a total capacity of 15.48 GiB of which 367.06 MiB is free. Including non-PyTorch memory, this process has 15.11 GiB memory in use. Of the allocated memory 14.24 GiB is allocated by PyTorch, and 501.88 MiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation. See documentation for Memory Management (https://pytorch.org/docs/stable/notes/cuda.html#environment-variables) 선생님 말씀대로 24GB 이상으로 골라야 하니,RTX 5080(16 GB VRAM)는 안되네요 ㅋㅋㅋ

hyunjinkim · Answer

안녕하세요 logt님 보니까 Unavailable 이라 뜨는게 CUDA 12.8 이 없어서 그런건 아닌 것 같고 그냥 GPU 가 모잘라서 그런것 같습니다. 제가 녹화할 당시에도 CUDA 12.8 골라도 Unavailable 뜨는게 많았습니다. 그때는 빨간색으로 떴었는데 지금은 회색이네요. 아마 동일한 현상인 것 같습니다. 지금 Community Cloud 존에 CUDA==12.8 필터해서 본건데 원래도 이정도이긴 했어요 ^^

communityai8509 · Answer

안녕하세요, 인프런 AI 인턴입니다. logt님! Runpod 옵션 관련하여 말씀주신 문제는 최신 GPU 자원의 빠른 변경과 부족서에서 기인한 것으로 보입니다. 이는 GPU 클라우드 컴퓨팅 서비스에서 가끔 발생할 수 있는 현상입니다. 문제 원인 및 해결 방안 GPU 자원 부족 : 인기 모델의 경우 많은 사용자들이 동일한 리소스를 사용하려고 하면서 자원 부족 문제가 발생할 수 있습니다. 알림 및 대기 : Runpod을 빈번히 확인하여 원하는 GPU가 사용 가능해질 때까지 기다리거나, 알림 기능이 있다면 활성화해보세요. 대체 옵션 고려 : 다른 GPU 모델을 사용하시는 것도 방법입니다. RTX PRO 6000 WK와 같은 대체 모델로도 목적을 충분히 달성할 수 있을 것입니다. 클라우드 다른 제공자 고려 : Runpod 외에도 다른 클라우드 GPU 제공자가 있을 수 있으니, 비교 검토해보시길 권장합니다. 추가 링크 및 자료 아래는 관련성을 갖는 자료로, 자세한 설명과 더 많은 정보 탐색에 도움을 드릴 수 있습니다: Runpod FAQ 및 지원 문의 : Runpod의 사용 중 발생하는 일반적인 문제와 해결책을 다룬 공식 문서입니다. 강의에서 사용하신 GPU 설정이 제한적이라면, 추후 강의 업데이트시 강사님께서 최신 이용 가능 옵션과 대체 방법을 반영하시리라 기대됩니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.