NMS 수행로직: Bounding box 에 포함된 box에 대한 질문.

Question

안녕하십니까, 유익한 강의 너무 잘 듣고 있습니다. 예를 들어 차 뒤 유리창에 사람 얼굴이 선명하게 비칠 경우, 차와 사람 얼굴 bouding box 의 confidence threshold는 0.9, 0.8이라고 하겠습니다. 이때 내림차 순 정렬후 0.9 confidence score를 가진 차량 box와  겹치(포함된)는 다른 box를 모두 조사하여 IoU를 검출 하는여 > 0.4인 박스들을 제거 하는데, 이때 포함된 사람얼굴 box 도 함께 IoU를 계산하는지요? 차량을 기준으로 포함된 사람 얼굴 box들의 IoU는 당연히 1보다 큰 값이 나올텐데, 그러면 사람 얼굴 box가 제거 되는거 아닌가 하는 의문이 들어서요. 부실한 설명 이해 바랍니다.

JH S · Answer

IOU는 절대 1을 넘을 수 없습니다. 위의 그림을 보고 다시 한번 생각해보시기 바랍니다.  https://ballentain.tistory.com/12 이 사이트도 같이 참고하시면 좋을 것 같습니다. 대강 계산했지만, 제가 그린 사진에 의하면, 빨간박스와 파란박스의 IOU는 IOU threshold를 넘지 않으므로 파란박스는 NMS에 의해서 삭제되지 않습니다. 따라서 둘다 최종 Detect결과가 될 수 있습니다,  빨간박스와 파란박스의 IOU는 IOU threshold를 넘으므로 초록박스는 NMS에 의해서 삭제됩니다. 따라서 차 밖의 큰 사람은 최종 Detect 결과로 반환되지 않습니다. 가정 각 박스의 Confidenc Sore는 다음과 같습니다 빨간 : 0.9 파랑 : 0.7 초록 : 0.7

Vincent Seo · Answer

감사합니다. 제가 생각을 잘못 하고 있었습니다. 그림과 함께보니 정확히 이해가 갑니다.

dooleyz3525 · Answer

JH S 님 훌륭한 답변 감사드립니다. 그림 설명이 훌륭하군요. 차 크기를 생각해보면 사람 얼굴 정도로는  IOU가 0.4 이상이 될 정도로 겹치지 않습니다. 그러니까 차 안에 사람이 완전히 내포 되어도 사람 얼굴이 작기 때문에 IOU가 0.4가 되지는 않을 겁니다. IOU는 2개 BOX 크기 교집합/ 2개 BOX 크기 합집합 이기 때문에 차 크기에 사람이 들어가더라도 합집합이 크기 때문에 교집합인 사람 얼굴 비율로 0.4 이상은 나오기 어려울 것입니다. 그리고 Bounding box 역시 차는 가로로 길게 , 사람얼굴은 정사각형태로 나오므로 완전 큰 바위 얼굴이 아니라면 IOU는 0.4이상이 나오기 어렵습니다. 하지만 대형 광고 얼굴 정도로 차와 겹치는  IOU가 0.4 이상이 된다면 제거 될 수 있습니다(하지만 그정도 수준이면 대형 광고 얼굴인지, 차인지 헷갈리는 수준입니다. ) 감사합니다.