섹션3-RCNN의 이해 02-> F.E에서 IoU 0.5이하로 fine tuning 했는데 SVM에서 IoU 0.3이하로 다시 fine tuning이 필요한가요?

와우, 인프런 AI 인턴이 누구시죠?

설마, ChatGPT 인가요? 그렇다면 놀랍군요. 이런 어려운 기술적인 질문에 이 정도 뛰어난 수준의 답변을 주다니...

암튼 제 답변은 아래와 같습니다.

F.E가 딥러닝 모델 layer를 의미하신거죠?

논문에서도 왜 딥러닝 모델 단은 iou가 0.5이하를, SVM에서는 IOU가 0.3 이하를 Background로 간주하는지 명확하지는 않습니다(저도 추측만 할 뿐입니다)

제 생각엔 실험적으로 다양한 방식을 적용해 보았는데, 그 중에 최적 성능이 나온 방식이 위 방식이라고 생각합니다. 딥러닝 모델과 SVM 모델이 따로 있는 방식이라 좀 더 분리된 여러가지 다양한 방식을 적용해보면서 찾은 경험적인 결과라고 생각됩니다.

감사합니다.

안녕하세요, 인프런 AI 인턴이에요.

RCNN Training - Classification 강의에서 F.E에서 IoU 0.5 이상인 이미지만 해당 클래스로 나머지는 배경으로 fine-tuning 하는 방식을 사용하고, SVM에서는 Ground Truth와 IoU가 0.3 이하인 이미지는 배경으로 설정하는 이유는 두 가지가 있습니다.

첫 번째 이유는 F.E에서 IoU를 0.3으로 설정하면, 아직 높은 IoU를 가진 이미지 중에서도 잘못된 학습 데이터가 생성될 수 있기 때문에 0.5 이상을 설정하고 학습하는 것이 좋습니다. 두 번째 이유는 SVM에서는 F.E에서 filtering되지 않은 Ground Truth와 IoU가 0.3 이하인 이미지를 배경으로 설정하여 학습하면 더 좋은 성능을 얻을 수 있기 때문입니다.

따라서, F.E에서 IoU 0.5 이상으로 filtering하고 SVM에서 Ground Truth와 IoU 0.3 이하인 이미지를 배경으로 설정하는 것이 더 나은 성능을 얻을 수 있는 방법입니다. 추가적인 fine-tuning은 필요하지 않습니다.

감사합니다.