Spark ML 모델 서빙

안녕하십니까,

네, 맞습니다. spark ml 모델도 REST API로 서비스 할 수 있게 만들어 주면 됩니다.

가령, Flask나 Fast API등으로 Pyspark을 기동할 수 있도록 Library를 import 한 뒤에 Spark ML 모델을 로딩하여 predict()를 호출한 결과를 REST API로 반환할 수 있도록 End Point를 만들어 주면 됩니다.

그리고, 제가 강의에서 LightGBM이 분산처리로 진행할 때 성능이 안좋게 나온다고 말씀드린 기억이 없는 것 같습니다만, 제가 그렇게 언급한 부분이 있으면 어느 영상의 몇분 몇초인지 말씀해 주실 수 있는지요?

LightGBM이 분산 처리로 진행할때 성능이 안좋다기 보다 LightGBM이 단일 노드로 돌리는것 보다 분산 노드로 돌릴때 살짝 성능이 떨어지는 감이 있다는 의미를 언급은 드린것 같습니다.

정리하자면 LightGBM 성능은 좋습니다. 그래서 RandomForest, XGBoost 보다 LightGBM을 사용하시는게 모델 성능상 더 좋을 수 있습니다. 다만 분산 노드에서 LightGBM을 수행할 때 단일 노드에서 LightGBM 을 적용하는 것 보다 살짝 성능이 떨어지는것 같습니다. 그럼에도 불구하고 다른 모델 성능 보다는 좋은 것 같습니다.

감사합니다.