선형 회귀의 다중 공선성 문제 (3:15~)
435
작성한 질문수 1
안녕하세요, 선생님!
유익한 강의 잘 듣고 있습니다. 3:15 에 설명해주신 선형 회귀의 다중 공선성 문제에서 피처간의 상관관계가 매우 높은 경우 분산이 매우 커진다고 설명해주셨는데,
이때 분산이 커진다는 의미가 무엇인지 조금 더 설명해주실 수 있으실까요?
답변 1
3
안녕하십니까,
전통적인 통계학에서 선형회귀는 독립변수(피처)를 기반으로 종속변수(결정값)를 예측하는데 있어서 실제값과 예측값의 예측 오차를 최소화하는 회귀 계수를 구하는 방식을 취합니다.
피처간의 상관 관계가 높으면 상대적으로 예측 오차의 분산이 커지게 되는 경향이 있습니다. 예측 오차의 분산이 커진다는 말은 잘 예측할 때와 예측하지 못할때의 차이가 커지는 것이고, 회귀 모델의 성능이 불안정할 수 있다는 것입니다(굳이 머신러닝과 비교하면 오버 피팅 되기 쉽게 됩니다).
이걸 식으로 증명하자면 좀 어렵고, 직관적으로 설명드리자면, 비슷 비슷한 피처들이 많을 경우 종속 변수(결정값)를 설명하는 설명력이 떨어진다고 보면 될 것 같습니다. 명확한 특정 피처가 아닌, 비슷한 여러개의 피처들이 있게 되면 아무래도 해당 종속 변수의 설명을 나눠서 가져가게 되면서 결과적으로 예측 오차의 분산이 커질 수 있습니다.
감사합니다.
모델 서빙과 관련된 강좌가 출시되는지 질문드립니다.
0
56
2
안녕하세요 열심히 수강중인 학생입니다
0
92
2
정수 인덱싱
0
86
2
넘파이 오류
0
113
2
11강 numpy의 axis 축 질문 드립니다.
0
107
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
96
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
79
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
83
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
75
2
5강 강의 오류가 있어요.
0
90
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
81
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
79
3
파이썬 다운그레이 후 사이킷런 재설치
0
131
2
좋은 강의 감사합니다.
0
80
2
scoring 함수 음수값
0
74
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
108
2
분류 평가 정확도 예측
0
90
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
114
1
카카오톡 채널 있나요
0
119
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
193
2
pca 스케일링 관련하여 질문드립니다.
0
109
2
주피터 대신 구글 코랩
0
184
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
156
2
실루엣 스코어..
0
93
2