경사 하강법의 에포크의 반복에 대해 질문이 있습니다

Question

안녕하세요 강사님 좋은 강의에 감사드립니다.
다름이 아니라 경사하강법을 공부 중 의문점이 들어 질문글을 작성하게 되었습니다.

에포크를 반복하며 과소-적정-과대 적합으로 성능이 진행되는 것으로 배웠는데요, 211p의 예시에서는 에포크마다 데이터가 새로 추가되지는 않은 것으로 이해를 했습니다.
그럼 같은 데이터를 반복해서 학습을 시키는 건데, 그게 성능 개선에 어떻게 영향을 미치고 효과를 발휘하게 되는 것인지 궁금합니다.
같은 데이터를 반복한다면 성능 개선이 없어야 하는 것으로 이해가 되어서요

haesunpark · Answer

안녕하세요. 같은 산을 내려 오더라도 시작 위치에 따라 하산 방향이나 종착지가 달라지는 것과 비슷합니다. 경사 하강법으로 에포크마다 시작 위치가 조금씩 바뀐다고 생각하면 도움이 될 것 같습니다. 다만 비유를 통해 이론을 완전하게 설명하기는 어렵습니다. 기술적으로 이 문제를 이해하려면 제가 쓴 또 다른 책인 <Do It! 딥러닝 입문>을 참고하시면 좋을 것 같습니다. 감사합니다.

haesunpark · Answer

안녕하세요. 박해선입니다. 경사 하강법은 한 번에 답을 구하는 알고리즘이 아니라 조금씩 정답에 가깝게 다가가는 방법입니다. 따라서 반복할 때마다 성능이 향상됩니다. 감사합니다.