학습완료후 나의 .csv 파일을 캐글에 submission 했을때 평가에 대한 질문.

Question

안녕하세요. 현재  캐글 Home Credit Default Risk 시작하기 섹션 부분 수강 중입니다 캐글에 submission을 할때 'SK_ID_CURR' 과 '내가 산출해낸 1이될 확률값' 만을  CSV 파일로 만들어서 제출을 합니다.  그런데 이 정보만 가지고 캐글에서 어떻게 test 데이터에 대한 auc값을 산출해내는지 궁금합니다.  제 모델(코드)를 제출해야 해당 모델에  test데이터를 넣어서 auc값을 산출해낼수있는것 아닌지요?  캐글에서 어떻게 저렇게 할수있는지 궁금합니다.

권 철민 · Answer

안녕하십니까, 사이킷런에서 roc auc를 계산하는 roc_auc_score()함수는 인자로 y_true 값과 예측 확률값을 입력 받습니다. sklearn.metrics. roc_auc_score ( y_true , y_score , * , average = 'macro' , sample_weight = None , max_fpr = None , multi_class = 'raise' , labels = None ) [source] &para; 여기서 y_true는 실제 class값이므로 kaggle 내부적으로 가지고 있을 것이고, , y_score 예측 확률값이므로 이러한 식으로 roc auc 를 계산하는 걸로 보입니다. 감사합니다.