mAP 성능결과에 대한 기준이 궁금합니다.

안녕하십니까,

mAP가 어느 수준이 좋은것인지는 기준이 정해져 있지 않습니다.

다만 모델별로 Pascal VOC이나 MSCOCO 데이터 세트별 난이도 또는 0.5 IOU는 그보다 높은 IOU 기준에서 mAP지표 들이 있으니 이를 참조해서 어느 정도 수준이 적정한 것인지 가늠해 볼수는 있습니다.

예를 들어 데이터 세트가 일반적으로 Object Detection을 수행하기가 상대적으로 용인한건지의 기준을 Pascal VOC 로 정할수도 MS-COCO로 정할 수도 있습니다.

일반적으로 MS-COCO가 Pascal VOC 보다 더 오브젝트 검출 난이도가 높습니다.

Yolo v3가 MS-COCO에서 IOU 0.5 일 때 50중후반대 mAP인데, IOU 0.75에서 30중후반대 mAP입니다. 물론 Yolo V3의 경우 상대적으로 작은 오브젝트들에 대한 Detection에서 성능이 많이 떨어지긴 합니다.

이러한 기준점들을 감안해서 검출하신 데이터 세트가 MS-COCO보다는 더 쉬운 데이터 인지, 아님 더 어려운 데이터 인지 판단하셔서 감안해 보시면 좋을 것 같습니다.

개인적인 생각으로는 IOU 0.5 기준 mAP=60.3, 0.75 기준 mAP=47.4 성능의 모델은 괜찮은 성능입니다. 다만 Object들의 건수가 많지 않고, 대부분의 Object들이 매우 크다면 평균적인 성능의 모델로 판단됩니다.

그리고 Mask RCNN과 같은 Segmentation의 mAP는 말씀하신대로 픽셀과 픽셀 기준으로 계산됩니다.

감사합니다.