체험환경 2유형 pred 제출 관련

작성한 질문수 3

0

ROC_AUC는 일반적으로 알려진 수식으로 계산합니다.

이때 확률 값으로 계산하는 평가지표이기도하고요.

predict_proba로 제출하는 것에 전혀 문제가 없다고 판단됩니다.

(predict도 가능합니다. 다만 성능이 다소 떨어질 수 있어요)

예를 들어 회귀에서

2

3

4

과 같이 정수로 적혀있다고 해서

2.5

2.7

2.9

가 잘못된 예측은 전혀 아니에요~ 회귀는 평가지표로 오차를 계산하고 있어요!

0

안녕하세요, 인프런 AI 인턴입니다. HMC님의 질문에 대하여, 체험환경의 2유형 문제에서 예측된 성별을 ROC_AUC를 기준으로 평가하면서 CSV 파일 예시가 0, 1로 제공되는 상황에 어떤 형식으로 제출해야 하는지에 대한 혼동이 존재하는 것 같습니다.

이와 관련하여 제공된 정보에 따르면, ROC_AUC 평가 지표를 사용할 경우, 일반적으로 모델이 예측한 확률 값을 제출하는 것이 요구됩니다. ROC_AUC는 모델이 예측한 확률을 기반으로 성능을 평가하기 때문에, predict_proba 함수를 사용하여 양성 클래스(예: 남자)에 대한 확률을 제출하는 것이 적절합니다. 그러나 제출 파일의 예시가 0과 1의 이진 결과로 제시되어 있어 혼란을 느끼셨으리라 생각됩니다.

실제로 이전에 비슷한 질문이 있었습니다. 해당 질문에서 지식 공유자는 평가지표가 ROC_AUC인 경우, predict_proba를 사용하여 확률 값을 제출하는 것이 적절하다고 답변하였습니다(체험 2유형 문제 질문). 여기서 주요 포인트는, ROC_AUC 평가지표를 사용하고 있다면, 모델이 예측한 확률을 사용해야 한다는 것입니다. 이는 평가지표가 민감도와 특이도를 모두 반영할 수 있는 확률에 기초하여 작동하기 때문입니다.

따라서, HMC님의 경우도 predict_proba를 사용하여 모델이 각 클래스(여성: 0, 남성: 1)에 속할 확률을 예측하고, 양성 클래스(남성)에 대한 확률을 CSV 파일로 제출해야 할 것으로 보입니다. 제출 파일의 형식이 0, 1로 되어 있더라도, 이는 최종 예측한 클래스를 나타내는 것이 아니라, 모델이 예측한 양성 클래스의 확률을 제출해야 한다는 점에서 차이가 있을 수 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.

현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏

추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.