학습률 최적화
533
작성한 질문수 10
뒤에 내용에서는 Learning rate scheduler 방식으로 epochs 마다 성능 평가 지표에 따라 동적으로 학습율을 변경했는데 optimizer에서는 어떻게 적용할수있나요? adam으로하면 자동으로 되는건가요?
답변 1
0
learning rate는 epoch시에 변경이 될 수 있습니다. optimizer에서는 이 epoch시에 결정된 learning rate를 기반으로 해서 Adam/RMSProp등의 optimizer는 개별 로직에 맞게 learning rate를 batch iteration(step) 별로 변경하면서(정확하게는 learning rate에 가중치를 부여) weight를 update하게 됩니다.
요약하자면 learning rate scheduler는 epoch 시마다 learning rate가 변경될 수 있으며, optimizer는 batch step시마다 epoch시에 부여된 learning rate에 가중치를 부여하면서 변경될 수 있습니다.
0
해당 강의 에서는 learning rate scheduler의 방식의 learning rate의 변경설정 해두는게 있었는데 Adam에서는 그모델이 알아서 조절해주는건가요??
0
알아서 조절해 준다는 의미를 제대로 이해하지 못했습니다만,
learning rate scheduler는 epoch시마다 learning rate를 재 조정할 수 있고(안할수도 있습니다), Adam과 같은 optimizer는 이렇게 epoch시마다 변경된 learning rate를 기반으로 batch step 마다 learning rate에 가중치등을 적용해서 약간씩 변경된 learning rate를 기반으로 weight를 update하게 됩니다.
resize 질문
0
50
1
20251212 Kaggle 런타임에 scikit-learn 설치 실패 트러블 슈팅
0
76
1
Loss와 매트릭 관계
0
62
2
Boston 코랩 실습
0
163
2
배치 정규화의 이해와 적용 2 강의 질문
0
135
2
Augmentation원본에 적용해서 데이터 갯수 자체를 늘리는 행위는 의미가있나요?
0
144
2
Conv함수 안에 activation 을 넣지 않는 이유가 뭔지 궁금합니다.
0
204
2
소프트맥스 관련 질문입니다
0
208
1
강의 관련 질문입니다
0
151
2
residual block과 identity block의 차이
0
190
2
옵티마이저와 경사하강법의 차이가 궁금합니다.
1
240
1
실습 환경
0
165
2
입력 이미지 크기
0
243
2
데이터 증강
0
196
2
albumentations ShiftScaleRotate
0
207
1
Model Input Size 관련
0
279
1
마지막에 bird -> frog 말고도 deer -> frog 도 잘못된것 아닌가요??
0
204
1
일반적인 질문 (kaggle notebook사용)
0
272
2
실무에서 Augmentation 적용 시
0
338
2
안녕하세요 교수님
0
231
1
가중치 초기화(Weight Initialization) 질문입니다.
0
327
1
테스트 데이터셋 predict의 'NoneType' object has no attribute 'shape' 오류
0
408
1
학습이 이상하게 됩니다.
2
1036
2
boston import가 안됩니다
0
229
1