규제 선형 모델에 관련해서 질문드립니다.

안녕하십니까,

1. 회귀 계수가 커지는 것은 과대 적합의 한 예를 보여 드린 것입니다.  머신러닝 모델은 어떻게든 학습 데이터의 모델 성능을 높이기 위해서 노력을 하기 때문에 이 과정에서 회귀 계수가 특정 범위를 상회하더라도 최소 loss만 추출된다면 이를 허용합니다.

회귀 계수가 크다고 과대 적합이 되는건 아니지만, 적절한 회귀 계수 값이 있더라도, 학습 loss를 줄일 수만 있다면 더 적절한 회귀 계수 값을 찾으려 노력하고, 그 과정에서 일반적이지 않은 회귀 계수, 회귀 계수값이 +/- 방향성으로 커지는 회귀계수가 결정되기 쉽습니다.

이렇게 회귀 계수가 커지면 학습 데이터가 아닌 다른 데이터가 들어와서 예측 시 오류가 발생하면 상대적으로 높은 예측 차이가 발생하게 됩니다. 즉 예측 값의 편차가 훨씬 커지게 됩니다. (회귀 계수가 0.1 * feature1 대비 100 * feature1 시 예측값이 틀리게 되면 편차는 후자가 훨씬 큽니다)

맞을 땐 잘 맞을지 몰라도 틀릴땐 왕창 틀려서 RSS값이 상당히 커지게 되어 과대적합 현상이 발생하게 됩니다.

2. 그러나 alpha 값이 감소하면 RSS(W) 값이 최소화 된다는게 어떻게 이루어지는지 잘 모르겠습니다. 단순히 alpha 값이 작으면 alpha*W^2 값도 덩달아 작아질 것이고 그 값이 무시해도될 작은 값이라 RSS(W) 값 변동도 소량이어서 최소화라고 표현하신건지 잘 모르겠습니다. 

=> 말씀하신 측면도 있습니다.

일단 alpha값은 회귀 계수가 커지는 영향도를 제어한다고 보시면 됩니다. alpha값이 크게 해서 회귀 계수가 커지는 영향도를 상대적으로 크게 제어하고, alpha값을 줄이면 회귀 계수가 커지는 영향도를 상대적으로 작게 제어 한다는 의미 입니다.

alpha 값이 작아지면 RSS+alpha*W제곱 식에서 alpha*W제곱 부분이 RSS에 비해서 상대적으로 작아지기 때문에 전체 Loss는 회귀 계수가 커지는 영향도를 크게 감안하지 않고, RSS를 최소화 하는데 집중한다라는 의미 입니다. 

감사합니다.