절댓값을 취하면 0.1이 0이 되는 이유>?

안녕하세요. 소확성입니다.

문의하신 내용 답변드립니다.

라쏘(lasso)는 선형 회귀의 한 종류로, L1 정규화를 사용하여 모델의 가중치를 제한하는 방법입니다.

L1 정규화는 가중치의 절댓값을 패널티로 부과하여 모델이 특정 특성에 민감하지 않도록 만듭니다.

라쏘의 비용 함수는 다음과 같이 정의됩니다.

여기서 MSE(θ)는 평균 제곱 오차(Mean Squared Error)이고, α는 정규화 강도를 나타내는 하이퍼파라미터입니다. 라쏘는 가중치의 절댓값을 더하는 부분이 있어, 이 부분이 0이 되게 되면 모델이 가중치를 최소화하려고 하게 됩니다.

만약 모든 가중치 θi​가 0이라면, 라쏘의 비용 함수의 두 번째 항은 0이 되어버립니다. 이는 모델이 최적의 가중치를 찾기 위해 가중치를 0으로 수렴시키려고 하는 것이며, 이는 변수 선택(Feature Selection)의 효과를 가지게 됩니다. 따라서 라쏘에서 절댓값이 0이 되는 것은 모델이 해당 가중치를 사용하지 않겠다고 판단한 것으로 해석할 수 있습니다.

답변이 학습에 도움이 되길 바라겠습니다.
감사합니다.