각 GD방법에 따른 iteration 횟수가 달라지나요?

안녕하십니까,

음, 이게 늘 헷갈리는 개념들입니다.  질문에 바로 답을 드리는것 보다 아래 주요 용어 설명을 먼저 드리는게 맞는 것 같습니다.

먼저 원론적인(Academic한) 개념이 아닌 Keras와 Tensorflow 에서,

batch_size는 Gradient Descent를 한번 계산하기 위한 학습 데이터의 갯수

steps: GD를  batch_size별로 계산하되 전체 학습 데이터에 대해서 이를 반복해서 적용한 횟수.

1회 epoch는 전체 학습 데이터에 대해서 steps를 진행.

epochs 수는 1회 epoch를 여러번 반복.

보통은 batch size, steps, epochs 개념으로 GD를 통해 학습을 진행합니다. 여기서 Iteration 개념이 좀 헷갈립니다. 

Keras의 경우 batch사이즈와 epochs를 인자로 입력해서 얼마나 반복적으로 학습을 수행할지 결정해 줍니다.

예를 들어 전체 학습 데이터가 100개 이고 batch size가 5 개이면,

1 epoch를 위해서 steps는 20번씩 Gradient Descent를 계산합니다. 5개씩 GD를 계산해서, 이걸 20번 하면 전체 학습 데이터에 대해서 GD가 최소 한번은 적용 대상이 되었습니다.

그리고 epochs를 30으로 설정하면, 1 epoch 수행한 것을 30번 반복합니다. 그럼 epochs 30회 수행시 전체 steps는 600번 입니다.

그런데 iteration은 반복의 의미이므로 steps으로 생각할 수도 있고, epochs로 생각할 수도 있습니다. 일반적으로 keras는 epochs가 iteration 개념으로 생각하며, Tensorflow 1.x에서는 이 steps가 iteration 개념입니다(그러니까 batch당 반복)

이 내용은 나중 강의에서 자세히 말씀드립니다.

그러니까, iteration을 어떤 개념으로 생각하느냐에 따라 질문의 답변이 달라 질 수 있습니다.

GD, SGD, Mini-batch 모두 한번 Gradient를 계산하기 위한 학습 데이터를 몇건을 가져 갈것인가가 기준입니다.

먼저 원론적인 기준에서 (처음 이들 개념이 소개된 기준 ), 전체 학습 데이터가 100개, epochs를 500회 한다면,

1. GD의 경우는 전체 학습 데이터를 모두 Gradient 대상으로 간주합니다.

그래서 1번 Gradient를 계산하기 위해서 전체 데이터 100개를 모두 사용합니다. 그리고 Epochs는 500회, 1회 epochs당 steps는 1회, 전체 steps는 500회, 굳이 batch size를 보자면 100개 입니다. 

2. SGD는 전체 학습 데이터 100개중 1개만 가지고 Gradient를 계산합니다. 그래서 Epochs는 똑같이 500회, 1회 epochs당 steps는 1회, 전체 steps는 500회, batch size는 1개 입니다.

3. 원래 이론적인 Mini batch는 전체 학습 데이터중 batch size만큼만 이용해서 Gradient 를 계산합니다. batch_size가 5개라면, epochs는 500회, 1회 epochs당 steps는 1회(여기서 이론적인 mini batch 이기 때문에 steps는 1회 입니다). 그런데 Deep learning framework은 Mini batch를 기반으로 하되 steps를 통해 전체 학습 데이터를 적용합니다. 그래서 mini batch의 경우 1회 epochs당 steps는 이제 20회가 되며, 전체 Steps는 10000회가 됩니다. batch_size는 5개 입니다.

만약 iteration을 steps를 고려해서 한다면(iteration = epochs * steps, batch_size = 5)

GD의 경우 Iteration은 500회, SGD의 경우 500회, Mini batch 500회, Deep learning framework에서는 10000회가 됩니다.

감사합니다.

감사합니다!!

지나가다 헷갈리는 수강생도 이해하고 갑니다! 질문, 답변 모두 감사합니다!