ROC-AUC와 F1-max, 어떤게 FN에 반응이 빠른가?

Question

안녕하십니까, 강의에서 배운 평가지표를 이용하여 anomaly detection을 진행하고자 합니다. 문제는 다음과 같습니다. anomaly detection에서는 TN(이상이 없다고 잘 예측함)비율이 압도적으로 많은 상황입니다.   제 생각에는 ROC-AUC에서 FN 비율이 높아져도 FP비율이 낮다면, 여전히 ROC-AUC에서는 높은 성능을 보인다 생각했습니다. 따라서 FN에 linear하게 반응하는 F1-max를 사용하고자 했습니다. 하지만 주변에서 다음과 같은 답변을 받았습니다. Anomaly detection을 위핸 manual threshold가 문제라는 것 같네요.    해당 부분 분명히 문제가 맞습니다. 하지만 이 부분이 AUROC라는 평가지표가 잘못되었다라는 주장을 하기에는 적절한지 아직 의문입니다. AUROC는 다양한 threshold를 두어 종합적으로 평가하기 때문입니다.   개인적으로 TN의 비율이 압도적인 것은 anomaly를 탐지하는 AD에서는 문제가 되지 않는다고 생각합니다. AUROC에서 역시 TN은 사용되지 않습니다.   모델이 모든 샘플에 대해 normal이라고 말하거나 혹은 그 반대여도 역시 AUROC는 낮아집니다   물론 F1-max도 중요하지만, 제 생각에는 여전히 AUROC로 평가하는 것은 유의미합니다. 하여, 의견이 궁금하기에 글 남깁니다. 이상입니다.

권 철민 · Answer

안녕하십니까, 해당 질문이 본 강의에서 다루고 있는 내용은 아닌 것 같습니다. 암튼 abnomaly detection에서 ROCAUC 역시 잘 사용되는 평가지표 입니다. 먼저 질문하신 내용중에 TN이 압도적으로 많은데 ROC-AUC에서 FN 비율이 높아져도 FP비율이 낮다면, 여전히 ROC-AUC에서는 높은 성능을 보인다 생각했다는 의미가 무엇인지요? 그리고 ROC-AUC에서 TN이 사용되지 않는 의미가 무엇인지요? FPR에서 TN이 사용됩니다. 제 생각엔 TN의 영향력을 줄이는 평가 지표를 찾으시는게 질문의 요지 인것 같습니다만, 그렇다면 PR-AUC 를 적용해보시면 어떨까 싶습니다. 요즘은 anomaly detection에 ROC-AUC와 PR-AUC를 함께 평가하기도 합니다. PR-AUC 는 아래 URL에 잘 설명이 되어 있으니 한번 참조하시면 좋을 것 같습니다. 감사합니다 https://data-minggeul.tistory.com/10