get_weigtht_updates() 함수 부분

[Revised Edition] The Complete Guide to Python Machine Learning

Minimizing the cost function RSS via gradient descent - Implementing gradient descent in Python code

Written on

340

선생님~ 식으로 봤을 때

마이너스까지 포함한 노란색 부분이 각각 w1_update, w0_update 아닌가요..?

그러면 식이

w1 = w1 +w1_update

w0 = w0 + w0_update

'+'로 되어야 하는 거 아닌가용..?

왜 '-'인지 ..헷갈리네요..ㅠ

python통계머신러닝 배워볼래요?

Answer 5

Instructor

더하지 않습니다. 뺍니다.

공식을 보시면 아시겠지만 빼지는 값이 - 라 더해지는 것처럼 됩니다.

Questioner

아 그렇군요..

그럼 선생님..

예를 들면 1000번을 돌리게되면

결국 최종 w1은 계속 기존 w1에서 1000번 정도 더해지는 건가요..?

이 의미가 반복적으로 보정하면서 w1, w0값을 업데이트 한다는 개념으로 ..
받아들여지는게 좀 이해가 안되네요..ㅠ

w1, w0으로 편미분하는 것까지는 수학공식적으로도 이해가 다 되었는데..

iteration할때마다 계속 더한다는 개념이...
비용함수를 최소가 되도록 w0, w1값으로 보정이 된다는게
어떤 의미로 최적이 되는건지..

이해가 좀 어렵네요..

마이너스였으면..오히려 줄여들어서 이해가 되었었는데..ㅜㅜ..

이해가 잘 안되서 ..ㅠㅠ설명좀 부탁드릴게요..ㅠㅠ

Instructor

네, 코드가 맞는겁니다.

w1 = w1 - w1_update 가 맞습니다.

w1_update 가 -n2/N(....) 이니까, 결국은 w1 + n2/N(..) 이 됩니다.

위의 식 이미지가 -로 잘못되었다는 얘기입니다. 책을 가지고 계시니, 책에는 바르게 되어 있습니다.

Questioner

엇 제가 올해2월쯤 다운로드했는데.. 다운로드 했던 코드 파일에도 '-'로 되어있어요 선생님~

Instructor

네, 말씀하신대로 +가 되어야 합니다.

코드에는 +로 되어 있습니다. 잘못된 오타입니다.

Inflearn Community Q&A