경사하강법 관련 질문

안녕하십니까,

경사하강법 부분 코드를 보면 w값은 0으로 지정한 후에 편미분값을 점진적으로 빼면서 업데이트를 수행한다고 나와있습니다. 여기서 w값을 0으로 설정하는 부분에서 의문점이 생깁니다. 만약 비용이 최소가 되는 임계점보다  0이 작을 경우, 편미분값을 지속적으로 뺐을 때, 경사하강법의 방향성이 맞는지 궁금합니다. 0에서 편미분값을 빼면서 출발했는데 경사가 내리막길이 아닌 오르막길일 경우가 있지 않은가에 대한 궁금증입니다.

음, 초기 w 값과 경사 하강법(비용 최소값도 마찬가지로)과는 별다른 상관 관계가 없습니다(물론 잘 초기화 된 w 값은 경사하강법이 더 제대로 적용될 수는 있습니다만 이건 예외로 하겠습니다. )

w값이 작아진다고 비용이 최소로 되지 않습니다. 경사 하강법을 적용하면 초기 w값이 어떤 값이 되던 비용이 최소로 되는 방향으로 w를 update할 수 있는 값을 구할 수 있습니다.

감사합니다.