F1 스코어

Question

책 166 ~167 쪽에 F1 스코어는 정밀도와 재현율이 어느 한쪽으로 치우치지 않는 수치를 나타낼 때 상대적을 높은 값을 가진다고 써있는데 167쪽에 분류 결정 임곗값 표를보면 0.6일 때 왜 더 좋은 성능 지표를 보여주는지 모르겠습니다

어느 한쪽으로 치우치지 않는 수치를 가질 때 더 좋은 값을 가진다면 분류 결정 임곗값이 0.45일 때 제일 좋은 값을 보여줘야 하는거 아닌가요?

그리고 임곗값이 0.6일 때가 임곗값 0.4~ 0.6 중에 제일 좋은 성능지표라고 말할 수 있는건가요?

Answer

너무 심각하게 생각하지 않으셨으면 합니다.

f1 score는 f1 score의 식이 있는 것이고 해당 식은 재현율과 정밀도의 간격이 너무 크면 수치가 좋지 않게 계산이 됩니다. 이걸 재현율, 정밀도가 얼마나 비슷하고 다른가에 따라 얼마나 f1 수치가 달라지고 여기에 너무 집중하실 필요가 없다고 봅니다.

성능 지표란 다양하게 보면 좋습니다. 정밀도도 보고, 재현율도 보고, f1 score도 보십시요. 그리고 뒤에서 애기할 ROC-AUC 도 함께 보십시요.

f1 score를 보는 이유는 정밀도 또는 재현율이 양극단에 있을 때 한쪽 수치만을 평가 지표로 하면 안되기 때문에 존재하는 것입니다. 어떤 지표가 절대적으로 모든 상황에서 우수한 상황같은건 없습니다.

Answer

1. f1 score는 precision 또는 recall중 한쪽이 크게 치우치면 수치가 떨어지지만, 그 떨어지는 수치의 정도는 precision, recall 값에 따라 다를 수 있습니다.

직접 F1 Score 식에 계산을 해보시면 나올 수 있을 것 같습니다.

2* precision * recall / (precision + recall) 로 구해 보시면 됩니다.

2. 그리고 임곗값이 0.6일 때가 임곗값 0.4~ 0.6 중에 제일 좋은 성능지표라고 말할 수 있는건가요?

=> 책/강의에서도 말씀 드렸듯이 0.6 일때 f1 score가 가장 좋지만, recall은 다른 임계값일 때가 더 좋습니다. 모델을 어떤 성능 지표로 평가하느냐에 따라 다를 수 있습니다.