confidence 임계값 관련 질문

안녕하세요? 강사님!

제공해주신 자료 33페이지에 "Confidence 임계값에 따른 정밀도-재현율 변화"를 보고 있습니다.

Confidence 임곗값이 낮을 수록 더 많은 예측 bbox를 만들게 되어 정밀도는 낮아지고 재현율은 높아짐 ==> Confidence 임곗값이 낮을 수록 더 많은 예측 bbox를 만들게 되는 이유가 무엇인가요? iou에 의해서 하는 게 아닌지요?

Confidence 임계값이 높을 수록 예측 bbox를 만드는데 매우 신중하게 되어 정밀도는 높아지고 재현율은 낮아짐 ==> Confidence 임곗값이 높을 수록 예측 bbox를 적게 만들게 되는 이유가 무엇인가요? iou에 의해서 하는 게 아닌지요?

제가 아직 iou와 confience 임계값을 헷갈려하는 거 같습니다.

iou는 Detection 예측 성공을 결정하는 걸로 알고 있습니다. iou로 예측 bbox를 생성하는 게 아닌지요?

그래서 iou가 작게 하면 예측 bbox를 많이 생성하는 거고, iou를 크게 하면 예측 bbox를 적게 생성하는 게 아닌지요?

자주 귀찮게 해드려서 죄송합니다.

감사합니다.

안녕하십니까,

confidence 임계값이 높으면 예측 시 매우 확실한 오브젝트가 아니고서는 예측 결과를 내어놓지 않습니다. 만약에 confidence 임계값이 0.9 라면 어떤 오브젝트가 0.8 confidence정도로 높은 확실성을 가지고 있지만 0.9 이하이므로 예측 결과로 내어놓지 않습니다.

precision은 예측 결과를 내어놓은 것을 기준으로 한 평가 지표 입니다. 그러니까, 이미지에 오브젝트가 10개가 있는데, confidence 임계값이 높다면, 이들중 정말 크고, 확실하게 생긴 오브젝트가 아니면 예측 결과를 내어놓지 않습니다. 가령 예를 들어 그러한 오브젝트가 1개가 있다고 하면 1번만 예측 결과를 내어놓게 됩니다. 그렇게 되면 precision은 1.0이 됩니다. 반대로 recall은 실제 오브젝트가 잘 예측 되었는가를 나타내므로 10개중에 1개만 실제 오브젝트를 맞추었기 때문에 매우 낮게 됩니다.

반대로 confidence 임계값이 낮게 되면 이번에 매우 많은 예측 결과를 내어 놓게 됩니다. 이미지에 오브젝트가 10개가 있는데, 임계값이 매우 낮아서 예측을 20개를 했습니다. 이들중 20개는 틀리고, 10개는 맞았다고 했을 때, 어쩧든 recall은 10개를 다 맞추었기 때문에 높아지게 되고, precision은 20개중에 10개만 맞추었기 때문에 낮아지게 됩니다.

정밀도는 TP/(FP+TP)로 계산되는데 confidence 임계값이 높으면 매우 확실한 오브젝트만 예측하기 때문에 자연스럽게 예측하는 결과 수가 작아지게 됩니다. 결과적으로 FP가 작아지게 됩니다.

재현율은 TP/(FN + TP)로 계산되는데 confidence 임계값이 낮으면, 확실하지 않아도 예측 결과를 내어놓기 때문에 자연스럽게 예측하는 결과수가 많아지게 됩니다. 그런데 Object Detection에서 FN은 예측을 하지 않는 것이기 때문에 예측 결과수와 상관없게 되고, 예측을 많이 하면 실제 오브젝트를 맞힐 확률이 높아지기 때문에 재현율은 높아집니다.

감사합니다.

인프런 커뮤니티 질문&답변