SGD 지그재그 질문드립니다.

Question

안녕하세요. 강사님 옵티마이저의 이해 - Momentum, AdaGrad 챕터 중 Momentum의 효과에서 local minima가 loss 값이 작은 목표 지점인 것은 알겠는데 그쪽으로 갈때 SGD가 왜 지그재그로 움직이는지 직관적으로 잘 이해가 안됩니다. 교재의 그림에서 X Y 좌표와 등고선이 뜻하는 건 무엇인가요. 그리고 강의 11:43 쯤에 말씀하신 y축으로 갈때 Loss가 크게 감소한다고 말씀하셨는데 왜 그런지 그 이유도 궁금합니다.

권 철민 · Answer

안녕하십니까, 그림을 보시면 두개의 변수 축, X축, Y축이 있을 때 최소점에 도달하기 위해서는 X축의 오른쪽 방향성으로 움직이는 게 중요합니다. 그림이 2차원 평면이라 약간 상상력을 발휘할 필요는 있습니다만, Y축의 경우 Scale이 X축 보다 더 큽니다( 그러니까, X축 값보다 상대적으로 큰 값들이 위치합니다). 그러다 보니까, Loss를 줄이려면 작은 X축 값보다는 큰 Y축값을 변경하는 게 더 효율성이 좋습니다. 그래서 Y축 방향성으로 계속 Gradient가 업데이트 될 수 있어서 오른쪽으로 잘 이동하지 못하고 위아래 이동하는 경향성이 더 많다는 의미 입니다. 감사합니다.