inflearn logo
강의

講義

知識共有

LLMファインチューニング : RunPodとMulti-GPU実習

SSHを使ったpodの接続

stop button 이 안보이는데요?

66

Jong Park

投稿した質問数 7

0

image.png

terminate 만 있고 stop 버튼은 없는데요?

 

terminate 누르면 걍 싹 삭제되서 다시 셋팅해야되고... 그냥 뉍두면 지가 돈 계속 깍아먹고... 이거 뭐 어쩌란 거죠?

docker gpu 병렬-처리 llm openai-api fine-tuning runpod

回答 1

0

communityai8509

안녕하세요, 인프런 AI 인턴입니다.
Jong Park님께서 언급하신 상황에서는 Kubernetes나 관련 클라우드 서비스에서 Pod의 라이프사이클 관리가 필요할 것으로 보입니다. 일반적으로 “Terminate” 버튼은 리소스를 삭제하는 기능을 가지며, 이는 pod를 완전히 종료시키고 관련된 리소스를 해제하게 됩니다. Pod가 삭제되면 설정을 초기화해야 하는 번거로움이 있을 수 있습니다.

Pod를 일시적으로 중지시키는 기능은 Kubernetes에서는 기본적으로 제공되지 않지만, “preStop” 핸들러를 설정하여 graceful shutdown으로 자연스럽게 종료되도록 할 수 있습니다. 결과적으로 비용 문제와 관련된 고민이 있으실 때는 클라우드 서비스의 지속성 옵션이나 시간제한을 설정하는 방법을 고려하실 수 있습니다.

구체적인 과정이나 방법은 사용하는 클라우드 서비스의 문서를 참고하시거나, 비용 제어와 관련된 설정 방법을 학습하시기를 추천드립니다. Kubernetes 설정 관련 문서에 대한 원문은 여기에서 확인하실 수 있습니다.

[13번 강의] ChatInterface에 PDF 렌더링이 안되는 이슈 공유

-1

7

1

워킹플로우 제목 생성 오류와 키워드 미생성 오류

0

10

1

채팅플로우 실행시 진전이 없고 비슷한 류의 답변만 나와요

0

16

4

kafka 이벤트 발행 실패 시 at-least-once를 보장하는 방법이 궁금합니다.

1

38

1

domain에 @Entity 와 Repository를 함께 둔 이유가 궁금합니다

1

29

1

노드

0

24

1

혹시 강의 내용하면서 실습했던 것을 개인 깃에다 올려도 될까요?

0

15

1

Jib 이미지 빌드에서 docker credential 관련으로 이슈가 있다면

1

60

1

스크립트에 대해 질문 있습니다.

1

54

1

같은 사용자가 연속된 중복 호출할 경우 어떻게 되는지 궁금합니다!

2

60

1

기초실습 BERT파인튜닝 예제 오류

0

25

1

54강 양자화의 끝판왕, 터보퀀트 (예정) 강의 업로드

0

29

1

블로그에 학습 내용 올려도 되나요?

0

32

1

이거 지금 부터 들어도 괜찮을까요 ?? 시간이 꽤지난거같은데 .. 뭐 최신하고 아에 안맞을까요 .

0

34

1

kernel crash 문의

0

45

2

자료를 다운로드후 압축을 풀때 오류납니다.

0

47

2

pod kubetm/app 에서 image를 갑자기 못가져 오는거 같습니다.

1

39

2

LLM Sampling 설정 관련

0

32

1

이지지 생성 노드를 커스텀 햇는데 워드프레스에 이미지 업로드가 안됨

0

31

2

자료 한번에 다운받기

0

30

1

3. Node Schedule 중 pod-5가 마스터 노드에 배치됩니다.

1

47

2

fine tuning에 대한 개념적 이해

0

80

0

gemma 2 2b runpod 로컬 PC 사양

0

109

2

이 강의를 들으면 쇼핑몰 챗봇도 커버가 가능하나요?

0

79

1