안녕하세요.

Question

안녕하세요. 딥러닝 CNN 완벽 가이드 - fundamental 강의를 수강하고 있는 수강생입니다. 딥러닝 학습 중 GPU 메모리 사용량에 대해서 궁금한 점이 있어 질문드립니다. 강의 중 GPU 메모리 용량 상한 때문에 training 데이터를 batch size로 나눠서 학습하신다고 하셨습니다.  그럼 batch size로 나눠서 학습을 진행하게 되면 batch size 만큼의 용량만 GPU에서 할당되어 계산되고 다음 batch 로 넘어가게 되면 GPU 메모리 사용량이 추가로 더 늘어나는게 아니고 batch size 만큼만 유지되는 건가요 ? 아니면 batch size 만큼 용량이 GPU 메모리 사용량으로 누적되면서 1 epoch 만큼의 GPU 메모리 여유분이 있어야 학습하는데 문제가 없는지요 ?

권 철민 · Answer

안녕하십니까, batch size만큼만 GPU에서 메모리에서 사용됩니다. 물론 GPU 메모리에 batch size 정도의 메모리만 필요하지는 않지만 기본적으로 사용되는 메모리가 있지만 학습시에 batch size 만큼 mini batch Gradient Descent로 Weight Update를 수행한 후 다음 batch size 시에는 해당 메모리를 재 사용할 수 있습니다. 1 epoch만큼 batch size 용량이 GPU 메모리에 누적되지 않습니다. 감사합니다.