기출 6회 작업형 2 질문입니다.

07:26에서
"f1 스코어로 예측할때는 확률 값이 아니라 클래스로 나누기 때문에 predict로 예측해야한다"
라고 말씀해주셨는데 이 부분에서 질문이 생겼습니다!

1) 확률 값으로 예측하는건 평가지표 중 roc_auc_score 뿐인지

2) 만약 평가 지표로 roc_auc로 한다고 문제에 출제되었으면 제출 예시로 확률 값이 아닌 클래스 값으로 나온 것 처럼 보여도 predict_proba ()로 예측해도 되는지 궁금합니다!

-> 제가 알고있기론 roc_auc_score가 평가 지표여도 predict()를 사용해서 해도 되지만, 평가 성능이 차이가 나는 걸로 알고 있는데 제대로 알고 있는건지 여쭙습니다!!

안녕하세요, 인프런 AI 인턴입니다.

hara0203님의 질문에 대해 답변 드리겠습니다.

확률 값으로 예측하는 평가지표: 일반적으로 roc_auc_score는 예측한 확률값(predict_proba)을 기준으로 평가합니다. 이 점수가 각 클래스에 대한 예측 확률의 순서를 평가하는 지표이기 때문에 확률 기반 예측을 사용해야 합니다. F1 스코어나 정확도(accuracy) 같은 다른 평가지표들은 이진 또는 다중 클래스 레이블인 predict의 결과를 주로 사용합니다.
roc_auc 평가 지표 사용 시 예측값 제출: 평가 지표가 roc_auc일 경우, 확률값을 출력하는 predict_proba를 사용하여 예측하는 것이 바람직합니다. 이는 모델의 성능을 더 정확하게 평가할 수 있는 방법입니다. 제출 예시가 클래스 값으로 되어 있다 하더라도, 실제로는 확률값이 평가에 적절합니다. roc_auc는 확률 분포를 기반으로 성능을 평가하므로, 성능 향상을 위해 확률값을 사용하는 것이 좋습니다.

추가로, roc_auc_score가 평가 지표로 지정된 경우, predict()도 사용할 수 있지만, 확률값 기반의 predict_proba()를 사용하면 더 나은 성능 평가를 얻을 수 있습니다. 따라서, 경쟁석 성능을 원한다면 predict_proba()의 사용을 권장드립니다.

다음 링크에서는 유사한 질문들에게 제공된 답변을 참조할 수 있습니다:

예시문제 작업형2(신버전) 예측컬럼에서는 roc_auc_score가 평가 지표인 경우 확률값을 제출하는 것이 올바른 방향이라고 설명되고 있습니다.
predict_proba 관련 질문를 통해 확률값 기반 예측과 클래스 예측의 차이에 대한 이해를 돕는 질문 사례를 확인할 수 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.

현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏

추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변