분류 결과 해석에 대한 질문입니다.

정말 쉽지 않군요 ㅎㅎ

감사합니다 한번 연구해보도록 하겠습니다!

테스트 데이터에서 성능이 잘 안나온다는 것은 학습 데이터와 테스트 데이터의 유형이 많이 차이난다는 것입니다.

학습 데이터로 학습된 패턴이 다른 패턴의 테스트 데이터에 적용되어 테스트 데이터의 성능이 떨어지는 것 같습니다.

1. 학습 데이터로 학습후 Random Forest의 feature importance를 추출하여 중요한 역할을 하는 피처들을 추출.

해당 피처들로 학습데이터와 테스트 데이터가 비슷하게 구성되어 있는지 확인.

가령 학습 데이터에 A, B, C 가 순차적으로 중요한 피처라면 A피처의 학습과 테스트 데이터 각각의 분포도, 값 유형, 그리고 RENEW가 1일때와 0일때 각각 나누어서 마찬가지로  A피처의 학습과 테스트 데이터 각각의 분포도, 값 유형등을 조사해 보십시요. 뭔가 다르기 때문에 다른 결과가 나올 것입니다. 그런 식으로 B, C Feature도 조사해 주십시요.

그리고 LightGBM생성시 boost_from_average=False로 생성해 주십시요

LGBMClassifier(..., boost_from_average=False)

감사합니다.

저자님 말씀을 듣고 이틀동안 이리저리 해보았는데 도저히 뭐가 잘못됐는지 알 수가 없네요 ㅠ

저자님 코드 그대로 따라서 해보았고 코드상으로도 문제가 없는거 같은데..

로우 데이터의 형태이고

renew가 타겟데이터입니다.

gap, age, year은 연속형데이터이고 나머지는 범주형 데이터를 숫자로 인코딩 했습니다.

(gap이 혼자 튀긴 하는데 gap은 추가적으로 넣은 데이터이긴 합니다. 그전에도 결과는 그닥..)

위와 같이 타겟데이터와 피쳐데이터를 분리하였고

결정트리와 랜덤포레스트는 저자님 말씀대로 학습데이터로 해본결과 잘 나왔습니다.

다만 lightgbm이

위와같이 학습데이터로 이밸류에이션을 해도 영 좋지 않게 나오더군요.

(evals에 쓴 데이터는 별도의 데이터입니다)

물론 결정트리와 랜덤포레스트도 테스트 데이터를 넣으면 성능이 나오지 않으니 과적합이고 좋은데이터가 아닌가 싶기도 한데 lightgbm은 왜 학습데이터 조차 안좋게 뱉어내는걸까요?

(gap숫자가 워낙 튀고 범주형, 연속형 피쳐데이터가 혼재되어있어서 그런가 싶기도 하고.. 아무리 짱구를 굴려봐도 해답이 나오지 않네요ㅠ)

길게 질문드려 죄송합니다 ㅠ

안녕하십니까,

모델 자체가 성능이 많이 안나오는 군요.

P가 약 26000건 정도 있는데, 아예 성능이 안나오는것 같습니다.

뭔가 학습과정에서 잘못된거 아닌가 싶습니다.  P 데이터가 적다고 볼수 없습니다. 모델이 잘못 만들어진것 같습니다.

테스트 데이터로 evaluation하지 마시고 학습 데이터로 evaluation을 해보십시요.

학습데이터로 학습이 되었기 때문에 동일한 학습 데이터로 evaluation하면 성능이 잘 나와야 합니다. 학습 데이터로 evaluation시 성능이 안나오면 학습 코드에서 뭔가 잘못되었습니다.

제가 원격에서는 전체 소스코드를 볼수가 없어서 어떤 원인으로 모델이 잘못 되었는지 말씀드리기가 애매합니다만, 학습 부분부터 전체 코드를 다시 보셔야 할 것 같습니다.

감사합니다.