안녕하세요 PR 커브 관련하여 질문이 있어 글 작성합니다.

Question

안녕하세요. mmdetection에서 제공하는 mask rcnn을 이용하여 커스텀 데이터셋을 학습시켜 mmdetection 라이브러리에 포함되어있는 coco 데이터셋의 mAP evaulation method를 통해 PR curve를 그려보니 recall값이 0.5정도가 넘어가면 precison이 거의 0으로 빠르게 떨어지는 현상을 발견했습니다. 여러 문헌들을 찾아보니 저처럼 특정 recall값에서 빠르게 precision이 감소하는 경우도 있고, 그렇지 않은 경우도 있었습니다. 또한 선생님께서 precision-recall curve 설명에서 나온 그래프 또한 recall이 0.8정도에서 급격히 precision이 떨어지는 그래프를 볼 수 있었습니다. 혹시 이런 경우처럼 precision값이 특정 recall값에서 급감하는 상황은 왜 발생하는 것인지 이유가 궁금합니다.

권 철민 · Answer

안녕하십니까, 일반적으로 recall이 높으면 precision 값이 떨어지게 됩니다. 어떤 recall값에 얼마만큼의 precision이 떨어지는지는 일정하지 않습니다. recall 값이 높다는 것은 일반적으로 많은 object detection 예측을 수행하고, 이중에 정확히 맞춘것도 많고, 틀린것도 많을 수가 있습니다. ground truth에 해당하는 object를 잘 예측했나에 촛점을 맞출 뿐 배경이미지를 object로 잘못 예측해도 recall은 높아질 수 있습니다. 하지만 이 경우에는 예측을 제대로 했는지를 판단하는 precision은 낮아질 수 있습니다. 그런데 recall이 0.5정도인데 precision이 0으로 급격하게 떨어지면, 전반적으로 배경 이미지를 Object로 잘못 예측하는 경우가 많다는 것이고, 제대로 모델 성능이 나오지 않는다는 의미로 해석할 수 있습니다. 모델의 성능이 나오지 않는 이유는 여러가지이기 때문에 꼭 집어 말씀드릴 순 없지만, 중요 이유로는 학습 이미지가 적어서 그런 경우가 많습니다. 학습 모델의 이미지 량이 적절한지 다시 한번 확인해 보시길 권장 드립니다. 감사합니다.