inflearn logo
강의

Course

Instructor

LLM Finetuning : RunPod and Multi-GPU Practice

Pod Connection Using SSH

stop button 이 안보이는데요?

45

Jong Park

7 asked

0

image.png

terminate 만 있고 stop 버튼은 없는데요?

 

terminate 누르면 걍 싹 삭제되서 다시 셋팅해야되고... 그냥 뉍두면 지가 돈 계속 깍아먹고... 이거 뭐 어쩌란 거죠?

docker gpu 병렬-처리 llm openai-api fine-tuning runpod

Answer 1

0

communityai8509

안녕하세요, 인프런 AI 인턴입니다.
Jong Park님께서 언급하신 상황에서는 Kubernetes나 관련 클라우드 서비스에서 Pod의 라이프사이클 관리가 필요할 것으로 보입니다. 일반적으로 “Terminate” 버튼은 리소스를 삭제하는 기능을 가지며, 이는 pod를 완전히 종료시키고 관련된 리소스를 해제하게 됩니다. Pod가 삭제되면 설정을 초기화해야 하는 번거로움이 있을 수 있습니다.

Pod를 일시적으로 중지시키는 기능은 Kubernetes에서는 기본적으로 제공되지 않지만, “preStop” 핸들러를 설정하여 graceful shutdown으로 자연스럽게 종료되도록 할 수 있습니다. 결과적으로 비용 문제와 관련된 고민이 있으실 때는 클라우드 서비스의 지속성 옵션이나 시간제한을 설정하는 방법을 고려하실 수 있습니다.

구체적인 과정이나 방법은 사용하는 클라우드 서비스의 문서를 참고하시거나, 비용 제어와 관련된 설정 방법을 학습하시기를 추천드립니다. Kubernetes 설정 관련 문서에 대한 원문은 여기에서 확인하실 수 있습니다.

localhost:30000 접속 안되는 문제 관련 질문

0

26

2

강의 수강 순서

0

20

1

Guest OS

1

22

2

import 오류

0

23

1

온톨로지 활용

0

25

2

질문있는데요.. vLLM은 말씀하신 사양에 적용이되나요?

0

33

2

제공해주신 레포가 Windows 환경에 너무 비친화적입니다.

0

32

2

회사 내 AI 툴 사용에 대한 질문

0

29

1

ollama설치해서 llama로 돌려도 되나요?

0

35

2

라이브 수강 어려움

0

44

3

섹션22 퀴즈 질문

0

36

1

Docker Desktop 설치 관련 질문

0

43

2

kubeTM Blog는 없어진건가요????

1

31

2

Docker + Spring Boot CI/CD 방법

0

37

2

마크다운을 텍스트 파일로 변환하기

0

37

1

docker compose에 대해 질문드립니다.

0

39

1

18강 smithery 를 이용한 mcp 실습(업데이트 요청)

0

23

1

guardrails 부분도 현재버전과 약간 다릅니다.

0

24

1

smithery ai 언제 업데이트 되나요?

0

22

1

무료할당량 사용하는데 문제가 생겼습니다.

0

29

1

섹션2-11 내용중 tool_call

0

32

2

fine tuning에 대한 개념적 이해

0

64

0

gemma 2 2b runpod 로컬 PC 사양

0

78

2

이 강의를 들으면 쇼핑몰 챗봇도 커버가 가능하나요?

0

59

1