인프런 커뮤니티 질문&답변
작성한 질문수
초기에 큰 LR 의 적용할시 오버피팅 문제
작성
·
262
0
안녕하세요 선생님
초기에 LR을 크게 할 때 왜 overfitting인지 잘 이해가 가지 않습니다.
초기에 큰 LR을 적용할시 Weight의 급격한 변화로 지역 최적해에 빠져 과적합 가능성이 있다고 언급하십니다. (2:00~3:35쯤 설명)
그런데, 제 생각에는 지역최적해에 빠져 나오지 못 하는 경우, 충분한 학습을 하지 못하고 수렴 한 것이라 overfitting 보다는 under fitting이라고 생각되는데, 왜 overfitting인지 잘 모르겠습니다 .
항상 즐거운 강의 감사합니다 :)
답변 1
1
권 철민
지식공유자
안녕하십니까,
overfitting이 입에 붙어서...혼선을 드린것 같습니다. 성능이 저하되는 것을 overfitting으로 부주의하게 연결한 것 같습니다.
learning rate가 크면 최소점으로 수렴하지 않고 발산을 해버리거나 최소점을 쉽게 지나쳐버릴 확률이 높습니다. learning rate가 크면 지역 최적해를 벗어날 가능성이 더 높아서 underfitting이라기 보다는 overshooting 개념으로 보는게 더 맞는것 같습니다.
아뭏튼 learning rate가 크면 overfitting이 쉽게 된다는 얘기는 맞지 않습니다. 오히려 learning rate가 작으면 overfitting이 더 되기 쉽습니다.
해당 영상은 적당한 시점에 다시 편집하도록 하겠습니다.
감사합니다.
감사합니다 :)