-
질문 & 답변
카테고리
-
세부 분야
컴퓨터 비전
-
해결 여부
미해결
학습률 최적화
21.08.30 22:33 작성 조회수 356
0
뒤에 내용에서는 Learning rate scheduler 방식으로 epochs 마다 성능 평가 지표에 따라 동적으로 학습율을 변경했는데 optimizer에서는 어떻게 적용할수있나요? adam으로하면 자동으로 되는건가요?
답변을 작성해보세요.
0
권 철민
지식공유자2021.08.31
learning rate는 epoch시에 변경이 될 수 있습니다. optimizer에서는 이 epoch시에 결정된 learning rate를 기반으로 해서 Adam/RMSProp등의 optimizer는 개별 로직에 맞게 learning rate를 batch iteration(step) 별로 변경하면서(정확하게는 learning rate에 가중치를 부여) weight를 update하게 됩니다.
요약하자면 learning rate scheduler는 epoch 시마다 learning rate가 변경될 수 있으며, optimizer는 batch step시마다 epoch시에 부여된 learning rate에 가중치를 부여하면서 변경될 수 있습니다.
박우성
질문자2021.09.01
해당 강의 에서는 learning rate scheduler의 방식의 learning rate의 변경설정 해두는게 있었는데 Adam에서는 그모델이 알아서 조절해주는건가요??
권 철민
지식공유자2021.09.01
알아서 조절해 준다는 의미를 제대로 이해하지 못했습니다만,
learning rate scheduler는 epoch시마다 learning rate를 재 조정할 수 있고(안할수도 있습니다), Adam과 같은 optimizer는 이렇게 epoch시마다 변경된 learning rate를 기반으로 batch step 마다 learning rate에 가중치등을 적용해서 약간씩 변경된 learning rate를 기반으로 weight를 update하게 됩니다.
답변 1