호스체결 공정의 영상에서 조언을 구합니다

openCV 강의 정말 감사합니다.

큰 도움이 됩니다.

OpenCV + WebApp (얼굴 눈 검출 웹앱만들기)

도 열심히 듣고 있습니다.

제가 접한 난제 중 하나를 손쉽게 해결 할 수 있었습니다 (강의를 듣고)

이렇게 질문을 드리는 것은,

금년도 제가 과제사업을 수행하면서 한가지 난제를 당면하게 되어

다양한 AI 비전 모델을 구축한 강사님의 자문을 여쭙고자 메일을 드립니다.

제가 울산에 살고 있어서, 만약 비용이 들더라도 가능하다면

의뢰를 드리고 싶습니다...!

수행 중인 과제의 수요기업 으로 조선 기자재 및 유압 피팅 업체가 있습니다.

이번 과제사업에서 해당 수요기업과 저희 회사가 목표로 하는 것은 수요기업의 작업 공정 중 작업자들이 엔진에 유압호스를 체결하는 공정이 있는데,

해당 공정에서 작업자들이 호스체결을 하나라도 누락했을 시 이를 알려주는 솔루션을 만드는 것입니다.

아래 사진에 보시는 것과 같이 엔진이 있고, 엔진에는 호스를 체결하는 포인트들이 있습니다.

<사진1 엔진>

그리고 작업자들은 아래 사진과 같이 렌치를 사용하여 호스를 포인트에 체결을 합니다.

<사진2 체결>

<사진3 detect>

그래서 저희는 현재까지 AI 컴퓨터 비전을 사용하여 위에서 보여드린 '엔진'과 '포인트', '체결도구(렌치, 드릴)'를 detect하여

작업자들이 엔진에 호스체결을 하나라도 누락을 했는지 판별하는 서비스를 만드려고 했습니다.

하지만 수요기업이 만족하는 수준의 서비스를 만들기에는 여러가지 난관이 있었습니다.

일단 위 사진은 저희가 현장에 설치한 cctv cam이고, 이런 cam을 4가지 다른 위치와 각도로 설치를 해서 누락 판별에 있어서 4개의 cam을 실시간으로 동시에 활용하였습니다.

하지만 이렇게 cam을 4대를 설치하여도 호스체결 공정 특성상 작업자가 체결을 할때 해당 체결 부위를 가리게 되는 경우가 있는 문제가 있습니다.

해당 부분은 수요기업도 인지하고 있는 부분이기는 합니다.

하지만 더 요점적인 부분은, 가리는 부분은 제외하고 생각하더라도,  현재까지 저희가 yolov5와 DeepSort 알고리즘을 사용하여 데이터를 학습하였을 때

체결 포인트에 대해서는 인식률이 나쁘지는 않으나 체결도구(렌치, 드릴)에 대해서는 많이 좋지 않아서, 체결도구에 대한 detect가 제대로 되지 않아 체결 누락 판별이 어려웠다는 점입니다.

저희가 사용한 알고리즘에 대한 github 링크를 아래와 같이 기입드립니다.

- yolov5 : https://github.com/ultralytics/yolov5

- deepsort : https://github.com/mikel-brostrom/Yolov5_StrongSORT_OSNet

저희는 지금까지 AI 컴퓨터 비전으로 시도해왔어서 해당 부분에 대해 자문을 여쭙고자 이렇게 질문을 드리게 되었습니다. 

하지만 수요기업이 원하는 것은 체결누락에 대한 알림이기 때문에 꼭 비전을 통한 방법이 아니여도 해결점이 있을까하여 이렇게 여쭙습니다.

해당 내용에 대해 참고하실 수 있도록 저희가 만든 모델로 detect한 영상을 첨부해드립니다.

바쁘시겠지만 꼭 한번만 확인과 혹 도움의 여부, 비용을 드려서라도 해결의 여부를 부탁드립니다.,...!

참고 영상과 소스

https://1drv.ms/u/s!AsL2wfnC-6dLpetIsspK2QyR-ogVvw?e=vWSc6k

감사합니다.