spark_xgboost_lightgbm 강의부분 관련

Question

안녕하세요. 강사님,   수업을 잘 듣고 있습니다!   다름이 아니라   spark_xgboost_lightgbm에서 버전이 바뀌면서 앞선 댓글을 통해 SparkXGBClassifier로 수정하여 해결은 하였으나, 새로 바뀐 XGB에서는xgb_model.feature_importances 이부분이 나오질 않아서, 혹시 SparkXGBClassifier의 featureImportances 를 보려면 어떻게 해야하는지   from mmlspark.lightgbm import LightGBMClassifier import mlflow lgbm_classifier = LightGBMClassifier(featuresCol="features", labelCol="label", numLeaves=100, maxDepth=10, numIterations=100) lgbm_model = lgbm_classifier.fit(train_sdf) -> 이부분부터 값이 나오질 않습니다. 오류메시지 org.apache.spark.SparkException: Job aborted due to stage failure: Task 4 in stage 73.0 failed 1 times, most recent failure: Lost task 4.0 in stage 73.0 (TID 285) (ip-번호.us-west-2.compute.internal executor driver): java.lang.NoSuchMethodError: com.microsoft.ml.lightgbm.lightgbmlib.new _doubleArray(J)Lcom/microsoft/ml/lightgbm/SWIGTYPE_p_double; 이 두부분에 대해서 문의 드립니다!

dooleyz3525 · Answer

안녕하십니까, 강의에서도 말씀드리듯이 feature importance는 xgb_model.feature_importances 가 아니라 xgb_model.get_feature_importances() 로 보셔야 합니다. 지금 databricks cluster 버전이 12.2 LTS, Spark 3.3.2 그리고 Lightgbm library는 강의와 동일하게 제가 설치해서 테스트 해보는데 별 문제 없이 잘 됩니다. Cluster와 Lightgbm library를 새롭게 생성해서 다시 한번 테스트 해보시고, 그래도 안되시면 사용하시는 databricks cluster 버전과 Spark 버전을 여기에 올려봐 주십시요.   감사합니다.