SGD 지그재그 질문드립니다.

안녕하십니까, 

그림을 보시면 두개의 변수 축, X축, Y축이 있을 때 최소점에 도달하기 위해서는 X축의 오른쪽 방향성으로 움직이는 게 중요합니다. 그림이 2차원 평면이라 약간 상상력을 발휘할 필요는 있습니다만, Y축의 경우 Scale이 X축 보다 더 큽니다( 그러니까, X축 값보다 상대적으로 큰 값들이 위치합니다). 그러다 보니까, Loss를 줄이려면 작은 X축 값보다는 큰 Y축값을 변경하는 게 더 효율성이 좋습니다. 

그래서 Y축 방향성으로 계속 Gradient가 업데이트 될 수 있어서 오른쪽으로 잘 이동하지 못하고 위아래 이동하는 경향성이 더 많다는 의미 입니다. 

감사합니다.