회귀계수가 0인 변수 제거 후 평가 결과 관련해서 질문드립니다

Question

안녕하세요.

학습과 테스트 데이터 셋으로 분리하고 학습/예측/평가를 수행 후에 회귀계수를 내림차순으로 정렬하였습니다.

회귀계수가 0인 변수를 제거하고 다시 학습/예측/평가한 결과, MES,RSME,VARIANCE가 기존보다 낮아졌습니다.

회귀계수0인 변수들은 Y값에 어떠한 영향도 주지 않는다고 생각하여 제거하여도 동일한 값이 나올것이라 예상하였습니다.

어떠한 원인때문에 이런 결과 도출되는지 가르쳐주시면 감사하겠습니다.

(참고로 기존에 학습,테스팅으로 나눈 X_train,X_test에서 회귀계수가 0인 ZN,INDUS,AGE,TAX,B 변수를 제거하였습니다.)

Answer

안녕하십니까,

해당 모델에 회귀 계수가 0인 컬럼은 없고, 아주 작은 컬럼은 있습니다.

np.round(lr.coef_, 1) 와 같이 소수점 1자리까지만 잘라서 볼 경우 0으로 보일 뿐입니다.

np.round(lr.coef_, 3) 정도로 하면 회귀 계수가 작은 컬럼을 보실 수 있습니다.

회귀 계수가 작은 값을 Feature 로 제외해서 성능이 어느 정도 향상된 것 같습니다. 물론 그렇다고 무조건 회귀 계수가 작은 값을 feature 에서 제외해서 성능이 향상되지는 않지만, 이 경우는 그렇게 해서 성능이 향상된 걸로 생각됩니다.

감사합니다.