스태킹 모델 생성 후 새로운 데이터에 적용 문의드립니다.

안녕하십니까,

y_train은 학습 데이터의 타겟값입니다.

그러니까 아래의 코드라면 X_train은 학습 데이터의 피처 데이터, y_train은 학습 데이터의 타겟값, 그리고 X_test가 경연대회 테스트 피처 데이터 입니다.

xgb_train, xgb_test = get_stacking_base_datasets(xgb_clf, X_train, y_train, X_test, 7)

그리고 반환되는 xgb_test는 경연 대회 테스트 피처 데이터를 기반으로 새롭게 테스트 데이터를 생성하는 것입니다. 그래서 아래와 같이 xgb_test, lgbm_test, rf_test, dt_test 데이터가 만들어지면,

xgb_train, xgb_test = get_stacking_base_datasets(xgb_clf, X_train, y_train, X_test, 7)
lgbm_train, lgbm_test = get_stacking_base_datasets(lgbm_clf, X_train, y_train, X_test, 7)
rf_train, rf_test = get_stacking_base_datasets(rf_clf, X_train, y_train, X_test, 7)
dt_train, dt_test = get_stacking_base_datasets(dt_clf, X_train, y_train, X_test,  7) 

아래 Stack_final_X_test가 최종적으로 만들어지는 경연대회용 테스트 데이터 이며,

Stack_final_X_test = np.concatenate((xgb_test, lgbm_test, rf_test, dt_test), axis=1)

이 테스트 데이터 데이터를 기반으로 최종 예측을 아래와 같이 할 수 있습니다.

stack_final = lr_final.predict(Stack_final_X_test)

요약하자면 경연 대회 테스트 데이터를 스태킹 메타 모델에서 사용하기 위해서 가공을 get_stacking_base_datasets()와 np.concatenate()를 이용해서 다시 만들어 줘야 합니다.

감사합니다.

아하 그러면 스태킹에 베이스가 되는 xgb, lgbm 등의 모델만 먼저 준비 후, X_test를 제외한 값은 훈련에 사용했던 데이터를 그대로 넣어주면 되는거군요..!!

감사합니다~

혹시 강의에서 사용하셨던 hyperopt 모듈과는 별개로, optuna 라는 모듈도 사용해 보셨을까요?

목적함수를 거의 동일하게 설정 후, 하이퍼파라미터를 구해봤는데, 두 모듈이 서로 다른 값을 반환하더라구요..

머신러닝 모델의 성능지표로 precision 점수를 사용하다고 했을 때, 목적함수의 roc_auc_list에 append되는 score를 auc_roc_score가 아닌 precision_score를 사용할 경우, 결과적으로 precision점수가 높은 모델을 생성할 수 있을까요?

ex)

score = precision_score(y_val, xgb_clf.predict(X_val),average="macro")