scheduler관련 질문드립니다.

안녕하세요.

기본적으로 배치 단위로 스케줄링을 하지는 않습니다.

예를 들어 10번의 이터레이션을 기준으로 학습률이 변경된다고 하고 에폭 100, 배치 이터레이션 20으로 가정해봐요. 그러면 에폭 기준으로하면 9번의 변화가 있지만 배치 기준으로 하면 199번의 많은 변화가 생깁니다. 또한 배치 하나가 학습 되고 있다는 것은 데이터 전체를 사용하는 중이라는 의미이기 때문에 이 사이에 학습률을 변경하면 데이터마다 다른 학습률로 학습이 됩니다. 따라서 기본적으로 배치 단위로 스케줄링을 하지는 않습니다.

감사합니다 :)