lab 04-1 multi-variable linear regression 의 cost 값 질문

미해결질문
서경동 프로필

동영상의 3분 02초에 해당하는 코드로 10만번을 학습시켜도

코스트값이 800이하로 내려가지를 않는데,

동영상에서는 2000번만 학습시켜도 대략 4까지 내려가있는 결과화면이 나와있습니다.

코드는 몇번이고 확인을 했고 에러또한 없습니다.

학습을 횟수를 늘릴수록 코스트값이 내려가기는 하지만,

동영상의 2000번 학습과 저의 10만번의 학습의 차이가 너무 커서 무엇이 문제인지

질문을 올립니다.

아쿠아라이드 프로필
아쿠아라이드 1달 전

저의 경우는 발산을 해 버려서 -_- 구글 검색을 해 보니 learning_rate 를 너무 크게 주면 발산하고 적게 주어야 수렴하는데 교수님 예제에서는 0.00001 정도는 되어야 수렴하기 시작하는 듯 합니다.

질문 올리신 분의 경우는 저와 반대로 learning_rate 를 너무 작게 주신 것이 아닌가 싶습니다.

학습이 되면서 cost 값의 추이를 살펴 보시면 선형적이지 않고 비선형 적이란 것을 관찰하실 수 있으며, 특히 작은 값에서는 수렴기울기가 더 낮아집니다. 만약 learning_rate 의 소수점 자리수를 cost 값이 발산하기 전까지 높이시다보면 교수님 예제 처럼 수렴하는 결과를 보게 되실 듯 합니다.

지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스