인프런 커뮤니티 질문&답변
작성한 질문수
선형 회귀의 다중 공선성 문제 (3:15~)
작성
·
426
0
안녕하세요, 선생님!
유익한 강의 잘 듣고 있습니다. 3:15 에 설명해주신 선형 회귀의 다중 공선성 문제에서 피처간의 상관관계가 매우 높은 경우 분산이 매우 커진다고 설명해주셨는데,
이때 분산이 커진다는 의미가 무엇인지 조금 더 설명해주실 수 있으실까요?
답변 1
3
권 철민
지식공유자
안녕하십니까,
전통적인 통계학에서 선형회귀는 독립변수(피처)를 기반으로 종속변수(결정값)를 예측하는데 있어서 실제값과 예측값의 예측 오차를 최소화하는 회귀 계수를 구하는 방식을 취합니다.
피처간의 상관 관계가 높으면 상대적으로 예측 오차의 분산이 커지게 되는 경향이 있습니다. 예측 오차의 분산이 커진다는 말은 잘 예측할 때와 예측하지 못할때의 차이가 커지는 것이고, 회귀 모델의 성능이 불안정할 수 있다는 것입니다(굳이 머신러닝과 비교하면 오버 피팅 되기 쉽게 됩니다).
이걸 식으로 증명하자면 좀 어렵고, 직관적으로 설명드리자면, 비슷 비슷한 피처들이 많을 경우 종속 변수(결정값)를 설명하는 설명력이 떨어진다고 보면 될 것 같습니다. 명확한 특정 피처가 아닌, 비슷한 여러개의 피처들이 있게 되면 아무래도 해당 종속 변수의 설명을 나눠서 가져가게 되면서 결과적으로 예측 오차의 분산이 커질 수 있습니다.
감사합니다.