optimizer의 Local minimum 탈출에 관한 질문

Question

강의 내용에서 optimizer가 다양한 방식(momentum , AdaGrad 등)을 통해 Local minima 문제를 해결한다는 의미로 이해하였는데, 그림은 Global minima가 아닌 Local minima로 향하기 위해 다양한 방식이 이용된 것처럼 표현되어 질문드립니다. 1. 노란색 선이 의미하는 바가 궁금합니다. 아래 그림의 의미가 노란색 선(타원)이 Local minimum을 의미하고,Local minum을 탈출하여 가운데 global minum에 도달하여 최적화된다는 의미인가요? 2. 각 축의 의미가 궁금합니다. Y축이 error, x축이 진행 순서(t) 일까요? ㄴ

권 철민 · Answer

안녕하십니까, 음, 그림에 local minimum 이라고 표시가 되어 있는 부분을 인지 못했습니다. 해당 그림은 local, global 구분없이 그냥 minimum을 찾는 방식을 비교한걸로 생각해 주시면 될것 같습니다. 그림은 원래 3차원 입체 좌표가 되어야 합니다만, 편의상 이차원 형태로 표현되었고, 노란색 등고선으로 입체감을 나타내면서 최소점과의 거리를 나타냅니다. 축이 x축, y축으로 되어 있고 최소점(여기서는 local minimum으로 표시된 지점) 까지 x와 y값을 업데이트 하면서 이동해서 찾아야 하는데, y방향으로는 작게 움직이고, x 방향으로는 상대적으로 크게 움직이면 보다 빠르게 최소점까지 이를 수 있는데, SGD가 Random 하게 x, y 값을 기반으로 Gradient를 계산해서 지그재그 방식으로 많은 step을 움직여야 하기 때문에 이를 개선하기 위해 momentum 기법이 도입되었습니다.