남겨주신 차트에서 보면 SGD는 수렴을 더 높은값에서 하게 되는데...
125
작성한 질문수 2
남겨주신 차트에서 보면 SGD는 수렴을 더 높은값에서 하게 되는데
그렇다면 SGD는 완전한 최저점으로 수렴한것이 아니라고 봐도 되는 것인가요?
FGD 보다 왜 더 높은 cost값에서 수렴하고 끝나는 것인가요? 해결책은 무엇인가요?
답변 1
0
Gradient descent 기법은 데이터에 따라 최적 값을 못 찾을수도 있습니다.
그러나 실험적으로(empirical study) GD의 다양한 변형 기법을 써서 최적에 근접하게 찾는 방법을 여러 연구자들이 찾아냈습니다.
데이터의 분포가 3차원이상 넘어가면 저희의 상상 영역 밖으로 넘어가기 때문에 시각화할 수는 없지만 상대적인 값으로 조금 더 최적화된 값을 찾아냅니다(완전한 값은 알기 어렵습니다).
이 부분은 Deep Learning에서 좀 더 다루는 부분으로 Optimizer(Adam, AdaDelta, RMSprop) 등에 대해서 좀더 공부해보면 이해에 도움이 되실 겁니다.
environment setup - windows 사용자는 어떻게
0
214
0
Chapter 10에 대한 강의안이 없는것 같습니다.
0
287
0
이게 이렇게 어려운 이유가 뭐죠?
0
232
0
Python 코드 실행을 위한 코드 다운로드 관련
0
252
1
matrix product문제 질문 드립니다.
0
222
0
강의자료중 코드는 다운로드 안 되나요?
0
192
0
scikit-learn preprocessing 할때 Data Frame object has no attribute 'as matrix'라는 오류가 뜹니다
0
351
1
pdf 강의자료 다운로드 관련
0
214
1
과제 제출 시 위 에러가 나옵니다. 어떻게 해야 하나요?
0
228
1
Gradient Boosting에서 Light GBM, XGBOOST
0
331
1
np.where 값 리턴
0
305
1
숙제 제출 오류
0
218
1
다른분들이 짠 코드를 볼수있을까요?
0
205
1
house data 전처리 코드 관련 질문
0
684
1
설치이후 Pandas import 문제
0
1629
2
import sklearn import preprocessing 부터 에러가 납니다.
0
389
2
엑셀 파일 생성이 안됩니다.
0
489
2
딥러닝 강좌 관련해서 질문올립니다.
0
214
1
ch11 강의 코드
0
216
0
코드를 볼수 가 없어요
0
272
0
소스코드
0
171
1
질문있습니다
0
149
1
deactivate 가 되지 않는 경우
0
254
1
kaggle_titanic_pclass one-hot encoding에 대해 질문드립니다.
0
161
0