작업형2 모의문제 1

Question

여기서 평가 지표가 정확도, 정밀도, f1score 등 많은데 왜 roc_auc_score인 proba로 예측하고 정리할 때 roc_auc_score로 확인하는지 궁금합니다

퇴근후딴짓 · Answer

정확도(Accuracy), 정밀도(Precision), F1-score는 모두 예측 결과로부터 계산되는 대표적인 분류 성능 지표에요. 이 지표들은 보통 predict() 함수로 얻은 클래스(label) 예측값 을 기준으로 계산해요 반면에 ROC AUC 점수(Area Under the ROC Curve) 는 달라요 ROC AUC는 모델이 각 클래스에 대해 얼마나 잘 확신(confidence)을 가지고 구분하는지를 평가하는 지표입니다. 그래서 predict_proba() 함수를 사용해 확률값(probability) 을 기준으로 계산하는 것이 일반적이고, 더 좋은 성능 평가를 할 수 있습니다. 물론 predict() 결과를 사용해서도 ROC AUC를 계산할 수 있지만, 모델의 확률 예측 능력을 제대로 반영하지 못하므로, predict_proba() 를 사용하는 것이 더 권장됩니다. 실제로 비교해보면 predict_proba() 가 조금 더 성능이 잘나와요

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. 최수영님. 질문해주신 roc_auc_score와 그 사용 이유에 대해 간단히 설명드리겠습니다. roc_auc_score 는 모델의 예측 확률 을 기반으로 모델의 성능을 평가하는 지표입니다. 이 지표는 주로 이진 분류 문제 에서 사용되며, 모델이 각 클래스를 얼마나 잘 분리하는지를 이해하는 데 유용합니다. roc_auc_score 를 계산하기 위해서는 클래스가 속할 확률을 필요로 하기 때문에 predict_proba 메서드를 사용하여 확률 값을 얻습니다. 이와 달리 정확도(accuracy) , 정밀도(precision) , F1 점수 등은 보통 예측된 클래스 라벨 을 기반으로 모델의 성능을 평가합니다. 따라서 predict 메서드를 사용하여 최종 클래스 예측값을 얻은 후 이들 지표로 평가를 수행합니다. roc_auc_score를 사용하면 예측 확률을 평가하여 모델의 성능을 더 세밀하게 확인할 수 있지만, 예측된 클래스 라벨이 필요할 때는 predict를 사용하여 정확도나 F1 점수 같은 지표로 평가합니다. 관련된 비슷한 질문을 통해 더 자세한 정보를 얻을 수 있는 링크를 추천해드립니다: “predict_proba 와 predict” 에서는 왜 예측할 때 roc_auc_score일 때만 predict_proba를 사용하는가에 대한 논의를 살펴볼 수 있습니다. “예시문제 작업형2(신 버전) 질문” 에서는 roc_auc가 predict_proba를 사용하는 이유와 그 적용 방식에 대해서 논의한 내용을 확인할 수 있습니다. 저는 최수영님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.