선생님. 강의를 듣다보니, batch 크기와 관련하여 질문이 있습니다.
270
작성한 질문수 18
선생님. 강의를 듣다보니, batch 크기와 관련하여 질문이 있습니다.
강의 말미에 GPU는 batch크기가 클수록 학습이 빨라져서 속도가 빠르다고 하셨습니다.
그렇다면, H/W의 성능이 좋다는 가정하에, batch 크기를 증가시키면 같은 결과지만 속도가 빨라지는 차이만 있는것인가요?
아니면, 학습을 시키는 적정한 batch 사이즈가 있는것인가요?
답변 1
0
안녕하십니까,
딱 정해진 batch_size는 없습니다.
이미지 크기에 따라서 달라질 수는 있지만, 일반적으로 batch_size는 8 ~ 64 정도면 적절해 보입니다. 작은 이미지 보다 큰 이미지가 GPU메모리를 더 많이 잡아 먹습니다.
128, 256도 가능하지만, 웬만한 GPU 메모리로는 어려울 수 있습니다.
그리고 메모리가 가능하더라도 batch_size가 너무 크면 학습 속도는 빨라지더라도 성능이 약간 떨어질 가능성이 있습니다. 물론 크게 의미 있는 수치는 아니지만, 전체 이미지의 갯수가 많지 않다면 아무래도 gradient descent를 구하고 적용하는 횟수 자체가 줄어들기 때문에 성능이 떨어질 가능성이 있습니다.
감사합니다.
resize 질문
0
50
1
20251212 Kaggle 런타임에 scikit-learn 설치 실패 트러블 슈팅
0
75
1
Loss와 매트릭 관계
0
61
2
Boston 코랩 실습
0
162
2
배치 정규화의 이해와 적용 2 강의 질문
0
134
2
Augmentation원본에 적용해서 데이터 갯수 자체를 늘리는 행위는 의미가있나요?
0
144
2
Conv함수 안에 activation 을 넣지 않는 이유가 뭔지 궁금합니다.
0
203
2
소프트맥스 관련 질문입니다
0
208
1
강의 관련 질문입니다
0
151
2
residual block과 identity block의 차이
0
186
2
옵티마이저와 경사하강법의 차이가 궁금합니다.
1
238
1
실습 환경
0
165
2
입력 이미지 크기
0
243
2
데이터 증강
0
195
2
albumentations ShiftScaleRotate
0
205
1
Model Input Size 관련
0
279
1
마지막에 bird -> frog 말고도 deer -> frog 도 잘못된것 아닌가요??
0
204
1
일반적인 질문 (kaggle notebook사용)
0
272
2
실무에서 Augmentation 적용 시
0
338
2
안녕하세요 교수님
0
231
1
가중치 초기화(Weight Initialization) 질문입니다.
0
327
1
테스트 데이터셋 predict의 'NoneType' object has no attribute 'shape' 오류
0
407
1
학습이 이상하게 됩니다.
2
1036
2
boston import가 안됩니다
0
228
1