로스라는 것에 대한 이해가 더 있으면 좋을것 같습니다 로스라는 것의 정의를 수식적이나 의미적으로 볼때 실제값과 모델의 예측값과의 차이 입니다 이를 줄이는 것이니 당연히 서서히 수렴하게 되는것이죠(물론 lr를 크게 준다면 발산할수 있습니다) 수식적으로 보면 미분값은 yp -yt 라는 값이 있죠? 이건 내 예측값이 크면 w를 작게할터이고 내 예측값이 작다면 w를 크게 할것입니다 반복 횟수에 상관 없이 무조건 loss는 줄어드는 방향으로 w가 조정됩니다 제가 밖에서 바로 쓰다보니 잘못된 부분도 있을수 있는데 이해가 잘 되셨으면 좋겠습니다
네 이해하신부분이 정확히 맞습니다! 초반에 SGD를 설명하기 어려워 전체데이터 기준으로 업데이트를 합니다 이 전체 데이터에 대한 평균값이 결국 미분값이 됩니다 나중에 SGD개념이 들어가면 샘플을 MINIBATCH 단위로 샘플링을하고 그 미니배치의 평균으로 업데이트를 합니다
강의를 들어주셔서 감사합니다. 제가 다운 받았는데, 함수는 잘 들어가 있습니다. [개발도구] - [비주얼베이직] 순으로 들어가시면 함수가 있습니다. 혹시 엑셀에 아무 내용이 없어서 그러신걸까요? 엑셀에 적은 내용은 일부러 빼고 드렸습니다. 따라하시면서 활용해 보실 수 있도록...