학습 데이터 가져오는 부분과 배치사이즈, iteration 에 관해 질문드립니다!!

명확한 답변 감사드립니다! 바로 이해가 되었습니다^^

안녕하십니까,

잘 듣고 계시다니, 저도 기분이 좋군요.

1. 원론적으로(맨 처음 SGD가 제안되었을 때는 성능상의 이슈로) SGD는 전체 데이터에서 단 한건의 데이터만 가지고 Gradient를 계산하는 방식입니다. 그러니까 100건의 학습 데이터라면 모든 피처를 포함한 단 한개의 데이터만을 random 하게 선택해서 가중치를 계산하고 이를 모델 전체에 가중치를 Update하는 방식입니다. 다만 이 한 건의 데이터는 iteration 마다 random 하게 다르게 선택되어 계산됩니다. 만약 1000번의 iteration 이라면 100개의 데이터 중에 1건을 선택하되, 1000번 iteration 마다 다른 데이터를 선택하게 됩니다. (물론 random 이기 때문에 1000번 iteration중 동일한 데이터가 발생할 확률은 있습니다)

질문중에 열방향이라는 의미를 잘 이해하지 못했습니다. 만약 특정 피처를 하나씩 선택하는 것을 의미하는 거라면, 그건 아니고, 전체 피처들을 선택하는 것입니다.

2. Mini-batch 방식으로 학습을 할 때는 학습 데이터를 원래 순서대로 가져오는 방법이 있고, 섞어서 가져오는 방법도 선택할 수 있습니다. 다만 이걸 iteration 시에 결정하는 것은 아니고, epoch를 수행 할 때마다 학습 데이터 전체를 shuffle(원본 학습 데이터를 섞음)해서 Mini-batch를 할 것인지, shuffle하지 않고(원본 학습데이터의 순서를 그대로) Mini-batch를 할 것인지 선택할 수 있습니다. 나중에 keras의 모델 학습 시 해당 기능을 수행하는 API에 대해서 말씀 드릴 것입니다.

감사합니다.