Anchor box 와 관련한 질문

Question

- 한가지만 더 부탁드립니다. Anchor box 의 경우 - 한 점을 기준으로 9개의 상자를 그리고 그것이 Ground Truth 와 일치하는 것을 Positive 로 정의한다. ==> 이렇게 이해를 했습니다. 맞는 건지요? 하지만 그렇게 그린 Anchor box 는 Slide Window 와 달리 실제 사진의 Object 크기에 따라 크기가 변동되지 않기 때문에 큰 이미지는 Anchor box 하나에 담지 못하는 문제가 발생하는건 아닌지요? Anchor box 의 경우 추상화 이전의 실제 이미지에 그려지기 때문에 그런 문제가 발생하지 않을까 생각해 봤습니다. 아울러 작은 Object 는 그 반대의 현상이 발생하는건 아닌지 의문점이 생겼습니다. 혹시 그렇다면 이런 것들은 Anchor box 로 어떻게 해결할 수 있는지 질문 드립니다. 혹시 큰 이미지는 작은 조각으로 분해되어 각 부분들을 Anchor Box와 예측박스로 일치시켜 이를 합쳐 하나의 큰 이미지를 예측하는거 아닌가 추측해 봅니다. 답변 부탁드려 봅니다. 를 이용해주세요.

권 철민 · Answer

안녕하십니까, anchor box에 대해 보충 설명 드리자면, 먼저 anchor box의 크기를 보시면 이미지에서 큰 오브젝트라도 IOU가 0.5 이상이 될 수 있도록 구성되어 있습니다. anchor box가 상당히 크게 구성되어 있기에 큰 오브젝트라도 특정 anchor box(또는 여러개의 anchor box들)에서 positive anchor box가 될 수 있습니다. 두번째는 학습시에 예측하는 bounding box는 이 positive anchor box를 찾아내고 예측을 끝내는게 아니라, positive anchor box 대비 예측 bounding box의 가로, 세로 길이가 몇배정도인지, 그리고 중심좌표는 얼마나 떨어져 있는지를 예측하는 것입니다. 그래서 예측 bounding box를 예측하는데 기준점(즉 anchor)이 된다고 해서 anchor box입니다. 때문에 큰 오브젝트를 찾아내는데 anchor box는 충분히 유연합니다. 하지만 작은 오브젝트를 찾아내는데는 anchor box가 제대로 동작하지 못할 수 있습니다. 이는 anchor box 기반이 아닌 다른 object detection 방식에서도 문제가 될 수 있습니다. 일단 오브젝트가 작으면 feature map에서 해당 오브젝트의 크기는 더욱 작아집니다. 그래서 feature map에서 이를 detect할때 잘 안되는 경우가 발생할 수 있고, 그리고 anchor box가 충분히 작지 않습니다. 이로 인해서 anchor box에서 positive anchor box가 검출되지 않을 수도 있습니다. 그럼 anchor box를 지금 보다 매우 다양하게, 그러니까 크기를 더 키우거나, 더 작게 하는 여러 anchor box를 추가하면 되지 않겠는가 생각할 수도 있지만, 이러면 또 anchor box가 너무 많아져서 예측 box의 갯수가 증가하게 되면서 잘못된 예측으로 오히려 성능이 저하될 수도 있습니다. 요약하자면 큰 오브젝트는 anchor box에서 그다지 문제가 되지는 않지만, 작은 오브젝트는 anchor box에서 성능을 저하시키는 주요 요인이 될 수 있습니다. 감사합니다.