MSE LOSS 관련

Question

안녕하세요. 강의 듣다가 의문사항이 있어 질문드립니다. 공유해주신 pdf 파일에서 07.multilabel_classification.pdf 에서 BCELOSS 함수와 Binary classification(이진분류)에 적힌 내용입니다. Regression 문제에서 mse loss 함수를 사용하면 , 함수가 non-convex 한 이슈가 있다고 적혀있는데 Regression 이 아니라 classification 문제에서 발생하는 이슈가 아닌가싶어 질문드립니다. mse loss 함수가 non-convex한 이슈가 발생한다는 점이 왜 언급된건지 궁금합니다.

funcoding · Answer

안녕하세요. MSE 손실 함수는 수학적으로 단순한 선형 회귀 문제에서는 예측값에 대해 볼록(convex)한 형태를 띱니다. 즉, 선형 회귀에서는 최적점을 쉽게 찾을 수 있습니다. 그러나 딥러닝 모델처럼 비선형 활성화 함수(예: sigmoid, ReLU 등)를 포함한 모델에서는, MSE 손실 함수와 모델의 비선형성이 결합되어 전체 최적화 문제(모델 파라미터에 대한 함수)가 비볼록(non-convex)해지는 경우가 많습니다. 즉, PDF에서 언급하는 “Regression 문제에서 MSE Loss 함수를 사용하면 함수가 non-convex 한 이슈가 있음”이라는 표현은 순수한 선형 회귀가 아니라, 비선형 모델(예: 심층 신경망)에서 MSE Loss를 적용할 경우 발생할 수 있는 최적화상의 어려움을 지적하는 것입니다. 한편, 분류 문제에서는 Sigmoid나 Softmax와 같이 확률 해석에 적합한 활성화 함수와 함께 BCE Loss 또는 Cross Entropy Loss를 사용함으로써, 그에 맞는 더 부드럽고 해석하기 쉬운 손실 함수를 제공하여 최적화 과정을 원활하게 만듭니다. 만약 분류 문제에서 MSE Loss를 사용하게 되면, 출력값의 해석 및 최적화 과정에서 불필요한 비볼록성 문제를 더 악화시킬 수 있으므로, 일반적으로 권장되지 않습니다. 따라서, PDF에서는 딥러닝 모델의 특성과 최적화 문제를 고려해 MSE Loss를 사용할 경우 발생할 수 있는 비볼록성 이슈를 언급한 것이며, 이는 분류 문제에 한정된 것이 아니라 비선형 회귀 모델에서도 나타날 수 있는 문제임을 강조하는 것입니다. 이 부분을 좀더 명확히 하기 위해, PDF 도 다음과 같이 업데이트하였습니다. - 딥러닝 모델에서의 Regression 문제에서는 MSE loss 함수를 사용하면, 함수가 non-convex 한 이슈가 있음 감사합니다.