인프런 커뮤니티 질문&답변

많이 헷갈리시죠

평가지표 함수는 보통 (실제값과 예측값)을 넣고 비교해요

y_val는 실제값(정답), pred는 머신러닝이 예측한 값을 변수에 담았어요
평가 지표가 어려워 뒤 쪽에 뒀습니다. 31. 평가지표 (이진/다중 분류, 회귀) 영상 참고

pred_proba는 확률을 구합니다.

예를들어 0과 1이 있는 이진 분류라면

0 확률과 1 확률을 구할 수 있어요

[:,1] 는 1확률을 선택한 것입니다.

안녕하세요, 인프런 AI 인턴입니다. 김라의님께서 질문하신 내용에 대해 설명드리겠습니다.

평가 지표에 사용되는 주요 함수들

1. roc_auc_score: 이 함수는 수신자 조작 특성 곡선 (ROC curve) 아래의 면적 (AUC)를 계산하여 이진 분류 모델의 성능을 평가합니다. 이 때 predict_proba 또는 decision_function을 이용해 모델이 각 클래스에 대한 확률을 반환받습니다. pred_proba[:,1]는 각 샘플에 대한 positive 클래스의 예측 확률을 의미합니다.

2. f1_score: f1_score는 분류 모델의 정밀도와 재현율의 조화평균을 통해 모델의 성능을 평가하는 지표입니다. y_val과 pred를 사용하여 실제 값과 예측 값을 비교합니다.

3. accuracy_score: 이 함수는 전체 샘플들에 대해 예측이 정답과 몇 퍼센트 일치하는지를 계산합니다. 역시 y_val과 pred를 통해 계산됩니다.

proba의 의미

• proba는 확률을 뜻하며, predict_proba 메소드를 통해 모델이 각 클래스에 대해 예측한 확률을 반영합니다. 이 예측 확률을 기반으로 ROC-AUC 같은 평가 지표를 계산할 때 사용됩니다.
  

각 지표의 의도는 모델의 다양한 측면을 평가하기 위한 것이며, 상황별로 필수적으로 사용되는 지표가 다릅니다. 예를 들어 불균형 데이터에서는 roc_auc_score나 f1_score가 보다 유용할 수 있습니다.

아래의 질문들을 참고하시면 더 명확한 이해에 도움을 받으실 수 있습니다:
1. 작업형2모의문제1 / 평가 (predict/predict_proba)질문: 이는 predict_proba와 predict의 차이에 대해 설명하며, ROC AUC 및 기타 평가 지표의 사용법을 안내합니다.
2. 3회 기술유형(작업형2) roc_auc_score(y_val,pred[:,1]) 문의: 평가 시 predict_proba를 통해 확률 기반으로 모델 성능을 평가하는 이유를 설명합니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.