mAP 0.5와 mAP 0.5-0.95의 차이

안녕하십니까,

IOU를 0.5로 설정하여 모델 성능을 평가할 경우 원래 Ground true Box와 절반 이상만 겹치는 예측을 하면 맞는 걸로 평가합니다. 즉 절반만 겹치던, 완전히 동일하게 겹치던 모두 다 맞는 걸로 인정하기 때문에 상대적으로 성능이 떨어지는 모델의 평가가 제대로 평가되지 않을 수 있습니다.

예전에 Pascal VOC Contest할 때는 이 정도 수준에서 맞는 걸로 평가했습니다만, Coco Contest에서는 평가 기준을 바꿔 버립니다.

IOU가 0.5 부터 시작해서 보다 엄격한 기준을 적용해 가면서 평가합니다.

IOU가 0.95 정도 되면 거의 Ground Trueth Box와 거의 동일한 수준으로 예측해야 합니다. 이 경우는 상대적으로 IOU가 0.5 일때 보다 모델 성능 평가가 떨어지게 됩니다.

이처럼 IOU를 0.5 부터 조금씩 증가 시켜서 모델 성능 평가를 하는 방식으로 보다 엄격한 모델 성능 평가가 가능합니다.

감사합니다.

감사합니다! 이해 되었습니다