안녕하세요 ..? gpu 사용량에 대해서 질문이 있습니다.
안녕하세요 .. ? 강사님
강의 잘 듣고 있고, 정말 많이 배우고 있습니다.
자꾸 귀찮게 해드리는 것은 아닌지 죄송할 따름입니다.
Oxford Pet의 dataset의 학습을 다 끝내거나, cfg와 epoch5.pth로 inference_detector로 모델을 만들어 하나의 이미지에
object detection을 수행을 끝낸 뒤에 리눅스에서 nvidia-smi로 gpu 사용량을 확인해 보면 학습 또는 object detection이 끝났음에도 gpu 사용량이 유지되는 것을 확인했습니다.(학습이 끝난 뒤에도 몇 분이 지났음에도 nvidia-smi를 눌렀을 때, 10650Mib의 사용량을 유지 했습니다.)
이 gpu 사용량이 왜 유지 되는 것인지 혹시 알 수 있을까요 .. ?
아래 사진은 object detection이 끝난 후 수분이 지났음에도 유지되는 gpu 사용량 사진입니다.
답변 1
1
안녕하십니까,
tensorflow 또는 pytorch의 경우 기본적으로 GPU에서 한번 잡은 메모리를 잘 해제하지 않습니다. 학습이 끝나도 모델을 학습 시킬 때 잡았던 메모리를 일반적으로는 잘 release 하지 않습니다. 물론 명시적으로 GPU에서 Memory를 release하는 api가 tensorflow나 pytorch에 있지만, 이렇게 할 경우 메모리에 있는 모델까지 다 날라가게 됩니다.
mmdetection에서 어떻게 구현을 했는지는 모르지만 아마도 이러한 특성 때문에 학습이 끝나도 여전히 GPU에서 메모리를 잡고 있을 것입니다. 하지만 해당 메모리는 다시 재 활용되기 때문에 다시 학습 시킬 때 메모리가 부족해 지지는 않습니다.
감사합니다.
강의 환경설정 질문
0
40
2
Custom Dataset에서의 polygon 정보 관련
0
83
3
cvat.ai 보안 수준이 궁금합니다
0
80
2
캐클 nucleus 챌린지 runpod 실습 코드 에러 질문드립니다.
0
95
3
추론 결과의 Precision(또는 mAP) 평가 방법
0
85
2
mmdetection mask rcnn inferenct 실습 시 runpod 템플릿 관해서 질문드립니다.
0
59
2
runpod에서 google drive 연결 시 오류 발생
0
109
2
로드맵 선택
0
66
1
mmcv
0
57
2
Anchor box의 Positive 처리 위치
0
62
2
해당 강의 runpod 적용 후 에러 제보드립니다
0
85
2
run pod credit 관련 제보
0
97
2
mmdetection 2.x과 3.x 호환 관련 표기
0
77
2
mm_faster_rcnn_train_kitti.ipynb 실행 오류
0
97
3
질문 드립니다.
0
77
3
mm_faster_rcnn_train_coco_bccd 실행 오류 질문드립니다.
0
78
1
강사님께 수정을 제안드리고 싶은 것이 있습니다.
0
93
1
google automl efficientdet 다운로드 및 설치 오류
0
73
1
이상 탐지에 사용할 비전 기술 조언 부탁드립니다.
0
102
2
OpenCV 관련 질문드립니다.
0
70
2
mmcv 설치관련해서 문의드려요
0
329
3
강의 구성 관련해서 질문이 있습니다
1
136
2
모델 변환 성능 질문드립니다.
0
122
1
NMS 로직 문의 드려요
0
112
2