강사님 Cosine Decay Restart 질문이 있습니다.

22.01.13 17:39 작성 조회수 211

해당 Cosine Decay Restart 기법을 적용해서 learning rate를 변화 시킬 때 배치 단위로 변화를 시킨다고 하면 사이클링 한 그래프 형태의 learning rate가 배치 스텝별로 적용 되는 건가요?

딥러닝 CNN 완벽 가이드 - Fundamental 편

이미지 분류 모델 최적화 기법 - Augmentation과 Learning Rate 최적화 01

강의실 바로가기

답변 1

답변을 작성해보세요.

권 철민

2022.01.14

안녕하십니까,

Cosine Decay Restart 를 포함한 Learning Rate Scheduler는 learning rate를 배치 단위로 변화하지 않고, epoch 단위로 변화 시킵니다.

감사합니다.