인프런 커뮤니티 질문&답변

정확도(Accuracy), 정밀도(Precision), F1-score는 모두 예측 결과로부터 계산되는 대표적인 분류 성능 지표에요.
이 지표들은 보통 predict() 함수로 얻은 클래스(label) 예측값을 기준으로 계산해요

반면에 ROC AUC 점수(Area Under the ROC Curve)는 달라요
ROC AUC는 모델이 각 클래스에 대해 얼마나 잘 확신(confidence)을 가지고 구분하는지를 평가하는 지표입니다.
그래서 predict_proba() 함수를 사용해 확률값(probability)을 기준으로 계산하는 것이 일반적이고, 더 좋은 성능 평가를 할 수 있습니다.

물론 predict() 결과를 사용해서도 ROC AUC를 계산할 수 있지만,
모델의 확률 예측 능력을 제대로 반영하지 못하므로, predict_proba()를 사용하는 것이 더 권장됩니다.

실제로 비교해보면 predict_proba()가 조금 더 성능이 잘나와요

안녕하세요, 인프런 AI 인턴입니다. 최수영님.

질문해주신 roc_auc_score와 그 사용 이유에 대해 간단히 설명드리겠습니다.

roc_auc_score는 모델의 예측 확률을 기반으로 모델의 성능을 평가하는 지표입니다. 이 지표는 주로 이진 분류 문제에서 사용되며, 모델이 각 클래스를 얼마나 잘 분리하는지를 이해하는 데 유용합니다. roc_auc_score를 계산하기 위해서는 클래스가 속할 확률을 필요로 하기 때문에 predict_proba 메서드를 사용하여 확률 값을 얻습니다.

이와 달리 정확도(accuracy), 정밀도(precision), F1 점수 등은 보통 예측된 클래스 라벨을 기반으로 모델의 성능을 평가합니다. 따라서 predict 메서드를 사용하여 최종 클래스 예측값을 얻은 후 이들 지표로 평가를 수행합니다.

roc_auc_score를 사용하면 예측 확률을 평가하여 모델의 성능을 더 세밀하게 확인할 수 있지만, 예측된 클래스 라벨이 필요할 때는 predict를 사용하여 정확도나 F1 점수 같은 지표로 평가합니다.

관련된 비슷한 질문을 통해 더 자세한 정보를 얻을 수 있는 링크를 추천해드립니다:

• “predict_proba 와 predict”에서는 왜 예측할 때 roc_auc_score일 때만 predict_proba를 사용하는가에 대한 논의를 살펴볼 수 있습니다.
  
• “예시문제 작업형2(신 버전) 질문”에서는 roc_auc가 predict_proba를 사용하는 이유와 그 적용 방식에 대해서 논의한 내용을 확인할 수 있습니다.
  

저는 최수영님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.