OOM의 원인에 대해서 궁금한 점이 있습니다
5165
작성한 질문수 158
안녕하세요
모델을 훈련할 때 GPU 하드웨어 부족으로 인해 발생하는 OOM 문제의 원인은 여러가지로 있는 것 같습니다
여러가지 원인 중 해결방법은 레이어들의 총 파라미터 합을 낮춰야 하는 것인가요?
레이어 층의 깊이보다는 이미지 사이즈 (리사이즈 여부 등 )으로 발생하는 파라미터 갯수를 낮추면 될까요?
주로 아래 Error로 훈련을 중지하게 됩니다
OOM when allocating tensor with shape[64,64,256,256] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc [Op:Conv2DBackpropInput]
layer summary는 아래와 같습니다
답변 1
0
안녕하십니까,
OOM을 방지하는 가장 좋은 방법은
1. Batch Size를 줄인다.
2. 이미지 크기를 줄인다.
3. GPU의 Memory를 늘린다.
2번의 경우에 이미지 크기를 줄이면 예측 성능이 감소 할 수 있습니다. 가장 좋은 건 Batch Size를 줄이는 것입니다.
모델의 parameter개수가 3.54M 정도면 큰 모델은 아닙니다. Batch size를 먼저 줄여 보시죠.
강의 환경설정 질문
0
36
2
Custom Dataset에서의 polygon 정보 관련
0
81
3
cvat.ai 보안 수준이 궁금합니다
0
77
2
캐클 nucleus 챌린지 runpod 실습 코드 에러 질문드립니다.
0
93
3
추론 결과의 Precision(또는 mAP) 평가 방법
0
81
2
mmdetection mask rcnn inferenct 실습 시 runpod 템플릿 관해서 질문드립니다.
0
56
2
runpod에서 google drive 연결 시 오류 발생
0
106
2
로드맵 선택
0
64
1
mmcv
0
55
2
Anchor box의 Positive 처리 위치
0
59
2
해당 강의 runpod 적용 후 에러 제보드립니다
0
83
2
run pod credit 관련 제보
0
93
2
mmdetection 2.x과 3.x 호환 관련 표기
0
75
2
mm_faster_rcnn_train_kitti.ipynb 실행 오류
0
93
3
질문 드립니다.
0
74
3
mm_faster_rcnn_train_coco_bccd 실행 오류 질문드립니다.
0
75
1
강사님께 수정을 제안드리고 싶은 것이 있습니다.
0
91
1
google automl efficientdet 다운로드 및 설치 오류
0
71
1
이상 탐지에 사용할 비전 기술 조언 부탁드립니다.
0
100
2
OpenCV 관련 질문드립니다.
0
68
2
mmcv 설치관련해서 문의드려요
0
324
3
강의 구성 관련해서 질문이 있습니다
1
133
2
모델 변환 성능 질문드립니다.
0
119
1
NMS 로직 문의 드려요
0
109
2