해당 Cosine Decay Restart 기법을 적용해서 learning rate를 변화 시킬 때 배치 단위로 변화를 시킨다고 하면 사이클링 한 그래프 형태의 learning rate가 배치 스텝별로 적용 되는 건가요?

안녕하십니까,&nbsp;
Cosine Decay Restart 를 포함한 Learning Rate Scheduler는 learning rate를 배치 단위로 변화하지 않고,&nbsp; epoch 단위로 변화 시킵니다.&nbsp;
감사합니다.&nbsp;

인프런 커뮤니티 질문&답변

강사님 Cosine Decay Restart 질문이 있습니다.