초기에 큰 LR 의 적용할시 오버피팅 문제

Question

안녕하세요 선생님

초기에 LR을 크게 할 때 왜 overfitting인지 잘 이해가 가지 않습니다.

초기에 큰 LR을 적용할시 Weight의 급격한 변화로 지역 최적해에 빠져 과적합 가능성이 있다고 언급하십니다. (2:00~3:35쯤 설명)

그런데, 제 생각에는 지역최적해에 빠져 나오지 못 하는 경우, 충분한 학습을 하지 못하고 수렴 한 것이라 overfitting 보다는 under fitting이라고 생각되는데, 왜 overfitting인지 잘 모르겠습니다 .

항상 즐거운 강의 감사합니다 :)

Answer

안녕하십니까,

overfitting이 입에 붙어서...혼선을 드린것 같습니다. 성능이 저하되는 것을 overfitting으로 부주의하게 연결한 것 같습니다.

learning rate가 크면 최소점으로 수렴하지 않고 발산을 해버리거나 최소점을 쉽게 지나쳐버릴 확률이 높습니다. learning rate가 크면 지역 최적해를 벗어날 가능성이 더 높아서 underfitting이라기 보다는 overshooting 개념으로 보는게 더 맞는것 같습니다.

아뭏튼 learning rate가 크면 overfitting이 쉽게 된다는 얘기는 맞지 않습니다. 오히려 learning rate가 작으면 overfitting이 더 되기 쉽습니다.

해당 영상은 적당한 시점에 다시 편집하도록 하겠습니다.

감사합니다.

돌머리

초기에 큰 LR 의 적용할시 오버피팅 문제

이 글과 비슷한 Q&A

4강, 집값 예측 예재에 대한 질문입니다.

파일을 읽어들일 때 질문 있습니다

tf.keras.model.reset_states()

마지막에 bird -> frog 말고도 deer -> frog 도 잘못된것 아닌가요??