OOM의 원인에 대해서 궁금한 점이 있습니다
5174
작성한 질문수 158
안녕하세요
모델을 훈련할 때 GPU 하드웨어 부족으로 인해 발생하는 OOM 문제의 원인은 여러가지로 있는 것 같습니다
여러가지 원인 중 해결방법은 레이어들의 총 파라미터 합을 낮춰야 하는 것인가요?
레이어 층의 깊이보다는 이미지 사이즈 (리사이즈 여부 등 )으로 발생하는 파라미터 갯수를 낮추면 될까요?
주로 아래 Error로 훈련을 중지하게 됩니다
OOM when allocating tensor with shape[64,64,256,256] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc [Op:Conv2DBackpropInput]
layer summary는 아래와 같습니다
답변 1
0
안녕하십니까,
OOM을 방지하는 가장 좋은 방법은
1. Batch Size를 줄인다.
2. 이미지 크기를 줄인다.
3. GPU의 Memory를 늘린다.
2번의 경우에 이미지 크기를 줄이면 예측 성능이 감소 할 수 있습니다. 가장 좋은 건 Batch Size를 줄이는 것입니다.
모델의 parameter개수가 3.54M 정도면 큰 모델은 아닙니다. Batch size를 먼저 줄여 보시죠.
MMDetection 버전 이슈
0
53
2
강의 환경설정 질문
0
63
2
Custom Dataset에서의 polygon 정보 관련
0
113
3
cvat.ai 보안 수준이 궁금합니다
0
98
2
캐클 nucleus 챌린지 runpod 실습 코드 에러 질문드립니다.
0
120
3
추론 결과의 Precision(또는 mAP) 평가 방법
0
96
2
mmdetection mask rcnn inferenct 실습 시 runpod 템플릿 관해서 질문드립니다.
0
69
2
runpod에서 google drive 연결 시 오류 발생
0
128
2
로드맵 선택
0
74
1
mmcv
0
66
2
Anchor box의 Positive 처리 위치
0
71
2
해당 강의 runpod 적용 후 에러 제보드립니다
0
97
2
run pod credit 관련 제보
0
127
2
mmdetection 2.x과 3.x 호환 관련 표기
0
89
2
mm_faster_rcnn_train_kitti.ipynb 실행 오류
0
114
3
질문 드립니다.
0
89
3
mm_faster_rcnn_train_coco_bccd 실행 오류 질문드립니다.
0
89
1
강사님께 수정을 제안드리고 싶은 것이 있습니다.
0
103
1
google automl efficientdet 다운로드 및 설치 오류
0
87
1
이상 탐지에 사용할 비전 기술 조언 부탁드립니다.
0
111
2
OpenCV 관련 질문드립니다.
0
87
2
mmcv 설치관련해서 문의드려요
0
357
3
강의 구성 관련해서 질문이 있습니다
1
141
2
모델 변환 성능 질문드립니다.
0
126
1