인프런 커뮤니티 질문&답변

강주형님의 프로필 이미지
강주형

작성한 질문수

딥러닝 CNN 완벽 가이드 - Fundamental 편

미니 배치(Mini-batch) 경사하강법 구현하기

미니 배치 관련 질문

해결된 질문

작성

·

208

0

선생님 안녕하세요. 코드 복습 중에 궁금한 점이 생겨서 질문 드립니다.

미니배치 첫 번째 방법은 복원 추출로 배치사이즈 만큼 뽑아서 1 epoch에 가중치 업데이트 하는 거고,

미니배치 두 번째 방법은 앞에서부터 배치사이즈만큼 잘라서 나온 그 뭉탱이 갯수만큼의 횟수로 ( 데이터 크기 / 배치사이즈 = 뭉탱이 갯수?) 가중치를 업데이트 해주는 게 맞나요?

 

그럼 첫 번째 방법은 1 epoch에 한 번 업데이트하고,

두 번째 방법은 1 epoch에 뭉탱이만큼 업데이트를 하니까,

BGD, SGD 포함한 전체 방법 중에 epoch 횟수가 같으면 두 번째 방법 미니배치가 학습 시간이 가장 오래 걸리는 걸로 이해하면 될까요?

감사합니다.

 

답변 1

0

권 철민님의 프로필 이미지
권 철민
지식공유자

안녕하십니까, 

네, 맞습니다. 학습 시간을 기준으로 하자면 두번째 방법 미니배치가 가장 오래 걸립니다. 

감사합니다. 

강주형님의 프로필 이미지
강주형

작성한 질문수

질문하기