인프런 커뮤니티 질문&답변
작성한 질문수
학습률 최적화
작성
·
475
0
뒤에 내용에서는 Learning rate scheduler 방식으로 epochs 마다 성능 평가 지표에 따라 동적으로 학습율을 변경했는데 optimizer에서는 어떻게 적용할수있나요? adam으로하면 자동으로 되는건가요?
답변 1
0
learning rate는 epoch시에 변경이 될 수 있습니다. optimizer에서는 이 epoch시에 결정된 learning rate를 기반으로 해서 Adam/RMSProp등의 optimizer는 개별 로직에 맞게 learning rate를 batch iteration(step) 별로 변경하면서(정확하게는 learning rate에 가중치를 부여) weight를 update하게 됩니다.
요약하자면 learning rate scheduler는 epoch 시마다 learning rate가 변경될 수 있으며, optimizer는 batch step시마다 epoch시에 부여된 learning rate에 가중치를 부여하면서 변경될 수 있습니다.
알아서 조절해 준다는 의미를 제대로 이해하지 못했습니다만,
learning rate scheduler는 epoch시마다 learning rate를 재 조정할 수 있고(안할수도 있습니다), Adam과 같은 optimizer는 이렇게 epoch시마다 변경된 learning rate를 기반으로 batch step 마다 learning rate에 가중치등을 적용해서 약간씩 변경된 learning rate를 기반으로 weight를 update하게 됩니다.
해당 강의 에서는 learning rate scheduler의 방식의 learning rate의 변경설정 해두는게 있었는데 Adam에서는 그모델이 알아서 조절해주는건가요??