해결됨
[개정판] 파이썬 머신러닝 완벽 가이드
규제 선형 모델에 관련해서 질문드립니다.
안녕하세요.
규제 선형 모델에 관련해서 궁금한 점이 있어 질문드립니다.
1. degree=15의 다항 회귀를 하면 feature 수가 기하급수적으로 늘어나 Over-fitting 되는 점은 이해가 됩니다. 그러나 5장의 '규제 선형 회귀 개요' 파트에 하신 설명을 보면 "앞의 예제에서 Degree=15의 다항 회귀는 지나치게 모든 데이터에 적합한 회귀식을 만들기 위해서 다항식이 복잡해지고 회귀 계수가 매우 크게 설정이 되면서 과대 적합이 되고 평가 데이터 세트에 대해서 형펀 없는 예측 성능을 보였습니다." -> 여기서 다항식이 복잡해지고 '회귀 계수가 매우 크게 설정'이 되면서 과대 적합이 됐다고 하셨는데 과대 적합과 회귀 계수가 큰 것과의 연관성에 대해서 잘 이해가 되지 않아 질문드립니다.
2. 바로 다음 장인 '규제 선형 모델에서 alpha의 역할' 에서 비용 함수 (RSS(W) + alpha*W^2)을 최소화하는 것이 목표라고 나옵니다. 여기서 alpha 값이 증가한다면 회귀 계수 w를 감소시켜 비용 함수 값을 낮추고 alpha 값이 감소하면 RSS(W) 값이 최소화 된다고 하셨는데 비용 함수를 최소화 하기 위해 만약, alpha 값이 크다면 회귀 계수 w 값을 감소시켜야 한다는 것 까지는 알겠습니다. 그러나 alpha 값이 감소하면 RSS(W) 값이 최소화 된다는게 어떻게 이루어지는지 잘 모르겠습니다. 단순히 alpha 값이 작으면 alpha*W^2 값도 덩달아 작아질 것이고 그 값이 무시해도될 작은 값이라 RSS(W) 값 변동도 소량이어서 최소화라고 표현하신건지 잘 모르겠습니다.