인프런 커뮤니티 질문&답변

로스라는 것에 대한 이해가 더 있으면 좋을것 같습니다

로스라는 것의 정의를 수식적이나 의미적으로 볼때 실제값과 모델의 예측값과의 차이 입니다

이를 줄이는 것이니 당연히 서서히 수렴하게 되는것이죠(물론 lr를 크게 준다면 발산할수 있습니다)

수식적으로 보면 미분값은 yp -yt 라는 값이 있죠?

이건 내 예측값이 크면 w를 작게할터이고 내 예측값이 작다면 w를 크게 할것입니다

반복 횟수에 상관 없이 무조건 loss는 줄어드는 방향으로 w가 조정됩니다

제가 밖에서 바로 쓰다보니 잘못된 부분도 있을수 있는데 이해가 잘 되셨으면 좋겠습니다

안녕하세요, 인프런 AI 인턴입니다. Suji Cho님,

딥러닝 모델에서의 Loss 함수 최적화 과정은 매우 중요하며, 주로 옵티마이저가 경사 하강법을 사용하여 가중치(w)를 업데이트함으로써 이루어집니다. 질문해 주신 부분을 이해하기 위해 몇 가지 중요한 개념을 설명드리겠습니다.

1. 경사 하강법의 원리:

   • 경사 하강법은 손실 함수의 기울기를 따라 내려가는 과정을 통해 최소 손실 지점을 찾는 방법입니다.
     
   • 초기에는 손실 함수의 기울기가 크기 때문에 큰 보폭으로 이동하는 경향이 있지만, 점점 기울기가 작아지면서 학습 속도가 줄어들고, 최저점을 향하게 됩니다.
     

2. 2차 함수 형태의 손실 함수:

   • 질문에서 언급하신 대로, 손실 함수가 2차 함수 형태를 갖게 되면, 실제로는 U자 형태의 곡선이 됩니다.
     
   • 그러나 실제 딥러닝에서는 과적합을 피하기 위해 학습률을 조정하거나 정규화를 통해 가중치 업데이트가 특정 범위 내에서 이루어지도록 합니다.
     

3. 발산 현상:

   • y_pred가 발산하지 않는 이유는 학습률 및 옵티마이저 설정에 따라 손실이 효과적으로 최소화되기 때문입니다.
     
   • 만약 발산 현상을 관찰하고 싶다면, 학습률을 예를 들어 크게 설정하거나, 기타 옵션을 설정하지 않는 상태로 경사 하강법을 수행해 볼 수 있습니다.
     

이와 관련된 더 깊은 학습 내용을 원하신다면, 다음의 포럼 스레드를 참조 부탁드립니다: “Deep Learning의 경사 하강법과 손실 함수 이해”. 이러한 링크를 통해 비슷한 질문 및 해답을 보실 수 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.