인프런 커뮤니티 질문&답변
작성한 질문수
안녕하세요 LR 변화에 대해서 질문이 있습니다
작성
·
246
0
안녕하세요 Callback 함수에서 ReduceLROnPlateau을 사용하면 동적으로 fit 중에 factor만큼 변화를 할 수 있다고 배웠습니다. 그런데 앞에 이론 수업에서 Adam을 사용할 때도 동적으로 LR을 바꾼다고 들었는데, 서로의 역할이 다른 것인가요? 아니면 제가 잘못 이해한 것인가요? 감사합니다
답변 1
0
권 철민
지식공유자
안녕하십니까,
네, 맞습니다. 둘다 동적으로 변경합니다. 주요 차이점은 Adam과 같은 optimizer 배치 단위로 학습률을 동적으로 변경하는 정책을 가져갑니다. ReduceLROnPlateau 와 같은 LR Scheduler는 Epoch단위, 즉 전체 학습 데이터를 한번씩 학습 할때 마다 변경 여부를 결정합니다.
감사합니다.