Boston House 실습 표준화, 이상치제거 관련 질문입니다.
답변 1
0
안녕하십니까,
강의가 도움이 되어서 저도 기쁩니다. ^^
1.
skew가 심한 feature들은 log 변환이 standard scaler 보다 나은 선택입니다. . standard scaler가 (x - 평균값)/표준편차 이므로 right skew가 심하게 된 값들을 평균에 가깝게 보정하기 어려울 수 있습니다. standard scaler는 서로 다른 feature들이 서로 다른 평균과 표준 편차를 가지고 있을 때 이를 feature들의 평균과 표준 편차를 동일하게 가져가는 경우에 잘 활용됩니다.
2.
GrLivArea 이상치를 제거하는 부분에서(강의 14:00~18:00 부분)
1. 다른 이상치 제거방법(사분위수)을 써도 되는지?
=> 네, 가능합니다. 다만 크게 성능이 좋아지지는 않아서 적용하지 않았습니다.
2. 이상치 제거할 때 테스트 데이터에 이상치가 있는지 확인하고 제거하라고 하셨는데 학습검증단계에서 테스트 데이터를 참고해도 되는건가요?
=> 테스트 데이터에 이상치가 있는지 확인하고 제거하라는 의미는 너무 이상치 제거를 남용(?)하지 말라는 의미입니다. 테스트 데이터도 이상치가 있다면 학습 데이터의 이상치도 삭제할지 좀 더 생각해 보라는 의미 입니다.
그리고 테스트 데이터 역시 우리가 정해주는 경우가 대부분이기 때문에(캐글이 아니기 때문에 ^^), 테스트 데이터 선정 시 이런 이상치 부분도 필요한 것인지 미리 검토를 하는게 좋습니다.
3.
=> 네, 돌리는 모델 별로 달라질 수 있습니다. 트리 기반 앙상블 모델은 굳이 scaler를 적용하지 않으셔도 됩니다.
기본 전처리 -> log 변환등의 feature engineering -> 이상치 제거 등으로 수행하시면 좋을 것 같습니다.
4.
마지막으로, house price 타켓 컬럼을 log변환해서 학습을 진행을 하셨는데, 타겟값만 log를 씌워주고 다른 값들은 log를 안씌운 상태에서 학습을 하게되면 오류(수치상의 차이 기반)가 발생할 가능성은 없을까요?
=> 타겟값만 log를 씌워 주셔야 합니다. 그리고 나중에 예측시 log 변환된 target 값을 예측하므로 예측값을 다시 지수변환으로 역 변환만 해주면 됩니다.
감사합니다.
모델 서빙과 관련된 강좌가 출시되는지 질문드립니다.
0
30
2
안녕하세요 열심히 수강중인 학생입니다
0
71
2
정수 인덱싱
0
75
2
넘파이 오류
0
94
2
11강 numpy의 axis 축 질문 드립니다.
0
91
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
83
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
71
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
78
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
65
2
5강 강의 오류가 있어요.
0
86
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
74
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
70
3
파이썬 다운그레이 후 사이킷런 재설치
0
122
2
좋은 강의 감사합니다.
0
76
2
scoring 함수 음수값
0
68
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
104
2
분류 평가 정확도 예측
0
83
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
100
1
카카오톡 채널 있나요
0
111
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
191
2
pca 스케일링 관련하여 질문드립니다.
0
104
2
주피터 대신 구글 코랩
0
176
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
149
2
실루엣 스코어..
0
88
2