• 카테고리

    질문 & 답변
  • 세부 분야

    딥러닝 · 머신러닝

  • 해결 여부

    미해결

lab 04-1 multi-variable linear regression 의 cost 값 질문

18.10.08 15:40 작성 조회수 102

0

동영상의 3분 02초에 해당하는 코드로 10만번을 학습시켜도

코스트값이 800이하로 내려가지를 않는데,

동영상에서는 2000번만 학습시켜도 대략 4까지 내려가있는 결과화면이 나와있습니다.

코드는 몇번이고 확인을 했고 에러또한 없습니다.

학습을 횟수를 늘릴수록 코스트값이 내려가기는 하지만,

동영상의 2000번 학습과 저의 10만번의 학습의 차이가 너무 커서 무엇이 문제인지

질문을 올립니다.

답변 1

답변을 작성해보세요.

0

아쿠아라이드님의 프로필

아쿠아라이드

2020.07.02

저의 경우는 발산을 해 버려서 -_- 구글 검색을 해 보니 learning_rate 를 너무 크게 주면 발산하고 적게 주어야 수렴하는데 교수님 예제에서는 0.00001 정도는 되어야 수렴하기 시작하는 듯 합니다.

질문 올리신 분의 경우는 저와 반대로 learning_rate 를 너무 작게 주신 것이 아닌가 싶습니다.

학습이 되면서 cost 값의 추이를 살펴 보시면 선형적이지 않고 비선형 적이란 것을 관찰하실 수 있으며, 특히 작은 값에서는 수렴기울기가 더 낮아집니다. 만약 learning_rate 의 소수점 자리수를 cost 값이 발산하기 전까지 높이시다보면 교수님 예제 처럼 수렴하는 결과를 보게 되실 듯 합니다.