초기에 큰 LR 의 적용할시 오버피팅 문제

Question

안녕하세요  선생님 초기에 LR을 크게 할 때 왜 overfitting인지 잘 이해가 가지 않습니다. 초기에 큰 LR을 적용할시 Weight의 급격한 변화로  지역 최적해에 빠져 과적합 가능성이 있다고 언급하십니다. (2:00~3:35쯤 설명) 그런데, 제 생각에는 지역최적해에 빠져 나오지 못 하는 경우, 충분한 학습을 하지 못하고 수렴 한 것이라 overfitting 보다는 under fitting이라고 생각되는데,  왜 overfitting인지 잘 모르겠습니다 . 항상 즐거운 강의 감사합니다 :)

권 철민 · Answer

안녕하십니까,  overfitting이 입에 붙어서...혼선을 드린것 같습니다. 성능이 저하되는 것을 overfitting으로 부주의하게 연결한 것 같습니다.  learning rate가 크면 최소점으로 수렴하지 않고 발산을 해버리거나 최소점을 쉽게 지나쳐버릴 확률이 높습니다. learning rate가 크면 지역 최적해를 벗어날 가능성이 더 높아서 underfitting이라기 보다는 overshooting 개념으로 보는게 더 맞는것 같습니다.  아뭏튼 learning rate가 크면 overfitting이 쉽게 된다는 얘기는 맞지 않습니다. 오히려 learning rate가 작으면 overfitting이 더 되기 쉽습니다.  해당 영상은 적당한 시점에 다시 편집하도록 하겠습니다.  감사합니다.