옵티마이저와 경사하강법의 차이가 궁금합니다.
238
21 asked
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!
- 먼저 유사한 질문이 있었는지 검색해보세요.
- 강의 내용을 질문할 경우 몇분 몇초의 내용에 대한 것인지 반드시 기재 부탁드립니다.
- 서로 예의를 지키며 존중하는 문화를 만들어가요.
- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
어느정도 찾아본 결과 옵티마이저는 최적의 파라미터를 찾아주는 알고리즘을 뜻한다고 합니다.
그런데 제가 듣기로는 경사하강법도 비슷한 개념인 것 같습니다.
그렇다면 옵티마이저 안에 경사하강법과 monentum, adagrad 등등 다 포함되는 건가요?
Answer 1
1
안녕하십니까,
딥러닝은 경사 하강법으로 Gradient를 구하지만, 모델 성능 향상을 위해서 이 값을 그대로 가중치에 Update 하지 않고, 보다 다양한 최적화 방식으로 가중치를 Update하게 되는데, 이걸 optimizer라고 합니다.
optimizer는 강의에서 설명드린대로 momentum, adagrad, rmsprop등의 방식등으로 Gradient값을 가중치에 update하게 됩니다.
요약하자면 경사하강법 방식으로 가중치에 update할 Gradient 값을 찾지만, 이걸 가중치에 실제 update할 때는 optimizer중 하나를 선택해서 update값을 변경하여 적용하게 됩니다.
감사합니다.
resize 질문
0
50
1
20251212 Kaggle 런타임에 scikit-learn 설치 실패 트러블 슈팅
0
75
1
Loss와 매트릭 관계
0
61
2
Boston 코랩 실습
0
162
2
배치 정규화의 이해와 적용 2 강의 질문
0
134
2
Augmentation원본에 적용해서 데이터 갯수 자체를 늘리는 행위는 의미가있나요?
0
144
2
Conv함수 안에 activation 을 넣지 않는 이유가 뭔지 궁금합니다.
0
203
2
소프트맥스 관련 질문입니다
0
208
1
강의 관련 질문입니다
0
151
2
residual block과 identity block의 차이
0
185
2
실습 환경
0
165
2
입력 이미지 크기
0
243
2
데이터 증강
0
195
2
albumentations ShiftScaleRotate
0
205
1
Model Input Size 관련
0
279
1
마지막에 bird -> frog 말고도 deer -> frog 도 잘못된것 아닌가요??
0
204
1
일반적인 질문 (kaggle notebook사용)
0
272
2
실무에서 Augmentation 적용 시
0
338
2
안녕하세요 교수님
0
231
1
가중치 초기화(Weight Initialization) 질문입니다.
0
327
1
테스트 데이터셋 predict의 'NoneType' object has no attribute 'shape' 오류
0
407
1
학습이 이상하게 됩니다.
2
1036
2
boston import가 안됩니다
0
228
1
Boston 주택 가격에서, scailing 안하면 값이 발산합니다.
0
223
1