mmdetection (mask_rcnn) 인퍼런스 관련 질문입니다.

Question

안녕하세요. 좋은강의 잘 듣고 있습니다.

얼마전에 mmd-to-tensorrt 질문을 올렸었는데요.

사실 해당 라이브러리를 사용해보려 한 목적이 Inference의 속도를

향상시키려는 시도의 일환이었습니다.

혹시 mmdetection을 이용한 mask_rcnn 의 추론 속도를

향상시키는 다른 방안을 알고계신가 싶어 질문 드립니다.

mmdetection에 포함된 다른 instance segmentation 검출 로직인

yolact를 사용하면 미세하게 속도의 향상이 있으나 검출 정확성 측면에서

mask rcnn이 더 낫더라구요.

항상 좋은 강의 감사드립니다.

Answer

안녕하십니까,

inference 환경만 바꿔서 mmdetection의 segmentation 속도를 향상시키는 방법은 현재로서는 tensorrt가 유일한 것으로 보입니다. quantization도 아직 지원이 미비해 보입니다(지원이 되어도 성능이 떨어질것입니다).

tensorrt 변경은 아직 experimental로 보입니다. 아래 URL을 혹시 참조해 보셨는지요?

https://mmdetection.readthedocs.io/en/latest/tutorials/onnx2tensorrt.html

pytorch에서 ONNX 변환은 아래 URL을 참조해 보십시요.

https://mmdetection.readthedocs.io/en/latest/tutorials/pytorch2onnx.html

이미 참조해 보신 방법일 수도 있습니다만, 현재로서는 mmdetection의 inference 를 모델 변경없이 S/W 기반으로 속도를 향상 시킬 수 있는 방법은 tensorrt로 보입니다. 아니면 inference가 빠른 다른 모델로 대체해야 할 것 같습니다.

감사합니다.