인프런 커뮤니티 질문&답변
작성한 질문수
SGD 지그재그 질문드립니다.
작성
·
222
0
안녕하세요. 강사님
옵티마이저의 이해 - Momentum, AdaGrad 챕터 중
Momentum의 효과에서 local minima가 loss 값이 작은 목표 지점인 것은 알겠는데 그쪽으로 갈때 SGD가 왜 지그재그로 움직이는지
직관적으로 잘 이해가 안됩니다. 교재의 그림에서 X Y 좌표와 등고선이 뜻하는 건 무엇인가요. 그리고 강의 11:43 쯤에 말씀하신 y축으로 갈때 Loss가 크게 감소한다고 말씀하셨는데 왜 그런지 그 이유도 궁금합니다.
답변 1
0
권 철민
지식공유자
안녕하십니까,
그림을 보시면 두개의 변수 축, X축, Y축이 있을 때 최소점에 도달하기 위해서는 X축의 오른쪽 방향성으로 움직이는 게 중요합니다. 그림이 2차원 평면이라 약간 상상력을 발휘할 필요는 있습니다만, Y축의 경우 Scale이 X축 보다 더 큽니다( 그러니까, X축 값보다 상대적으로 큰 값들이 위치합니다). 그러다 보니까, Loss를 줄이려면 작은 X축 값보다는 큰 Y축값을 변경하는 게 더 효율성이 좋습니다.
그래서 Y축 방향성으로 계속 Gradient가 업데이트 될 수 있어서 오른쪽으로 잘 이동하지 못하고 위아래 이동하는 경향성이 더 많다는 의미 입니다.
감사합니다.