경사 하강법 RSS 질문
518
작성한 질문수 5
안녕하세요 파이썬 머신러닝 완벽가이드를 통해 잘 공부하고 있는 학생입니다.
다름이 아니고 경사하강법 파트를 공부하다 질문 사항이 생겨 글 남깁니다.
경사하강법의 원리를 배우며, 손실함수의 최저점을 찾기 위해 (손실함수 값이 낮아지는 방향성을 찾기 위해) R(w0,w1)에 대해 편미분을 하는 것은 이해했으나,
w1(new) = w1(old) + n(보정계수)*(편미분값)
w0(new) = w1(old) + n(보정계수)*(편미분값)
w1,w0을 업데이트 하는 과정에서
왜 원래의 값에서 보정계수*편미분값을 빼게 되는 것인지 그 원리가 잘 이해되지 않습니다 ㅠㅠ
편미분은 대략 기울기, 변화량 정도를 의미하는데 .. 그 값에 보정계수를 곱하고, 원래 값에서 빼게 된 값이 그 기울기만큼 감소한 지점의 f(w) 함숫값(?)이 되는건지..? 그렇다면 왜 그렇게 되는 건지 궁금합니다 ㅠㅠ
제가 질문을 제대로 설명한 건지 모르겠네요.
강의 항상 잘듣고 있습니다. 감사합니다.
답변 1
1
안녕하십니까,
음, 무척 본질적인 질문이군요.
예측값과 실제값의 차이(loss)를 감소시킨다는 방향성을 적용한다는게 기존 weight에서 얼마나 변경을 시켜야 하는 걸로 생각해 주시면 어떨까 싶습니다. 손실함수의 최저점을 가지는 weight를 바로 찾기는 매우 어려운 문제이기 때문에 손실함수의 최저점으로 향하는 방향성을 반복해서 조금씩 찾아내는 것입니다. 이 최저점으로 향하는 방향성을 편미분을 통해 Gradient로 계산하게 되면, 이는 기존 weight에서 얼마나 변경을 해야 하는가를 의미하게 됩니다. 그래서 이 Gradient를 기존 weight에서 보정계수를 곱해서 - 시켜주게 됩니다.
속도를 미분해서 나오는 가속도의 경우도 가속도 자체로서 의미가 있지만, 전체적으로는 속도가 앞으로 증가할지, 감소할지를 판별하게 되고, t+1 시점의 속도는 t의 속도에 가속도를 적용해서 얻어지게 됩니다.
우리가 구하는 gradient는 loss를 감소시키는 방향성을 의미하는 미분 값이지만 실제로는 weight에 적용되어야만 합니다. loss를 최소로 하는 weight를 바로 찾아내기는 매우 어렵기 때문에 이러한 방식을 적용한 것입니다.
감소합니다.
모델 서빙과 관련된 강좌가 출시되는지 질문드립니다.
0
29
2
안녕하세요 열심히 수강중인 학생입니다
0
71
2
정수 인덱싱
0
74
2
넘파이 오류
0
90
2
11강 numpy의 axis 축 질문 드립니다.
0
90
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
82
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
71
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
78
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
65
2
5강 강의 오류가 있어요.
0
86
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
74
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
70
3
파이썬 다운그레이 후 사이킷런 재설치
0
122
2
좋은 강의 감사합니다.
0
76
2
scoring 함수 음수값
0
68
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
104
2
분류 평가 정확도 예측
0
82
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
100
1
카카오톡 채널 있나요
0
111
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
191
2
pca 스케일링 관련하여 질문드립니다.
0
103
2
주피터 대신 구글 코랩
0
176
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
149
2
실루엣 스코어..
0
88
2