Black & White 의 이미지 인식 및 segmentation

Question

항상 강의 잘 보고 있습니다. 감사합니다. 제가 도면을 인식하는 모델을 만들어 보려고 하는데요, 아시다시피 모든 건축 도면들은 대부분 일반적인 jpg 이미지와는 달리 black & white 이고 대부분이 선과 패턴으로 이루어져 있습니다. 또 치수, text & 리드선 이 있구요.   이런 도면을 인식한다고 가정했을때, 어떤 방법이 가장 효율적이거나 혹은 인식 성공률이 높을까요? 지금까지 제가 해온방법은 CVAT 을 사용해서 하나하나 레이블링을 해오고 있는 중입니다. 아래의 이미지처럼요. 현재 계속 이미지를 계속 레이블 중이긴 합니다만 저 세그멘테이션 inferential 의 성능이 얼마나 나올지.. 이게 맞는 방법인가??? 싶어서 잘못된 방법으로 너무 많은 시간을 소비하는건 아닌가 싶어서 이렇게 여쭤봅니다. 나중에 OCR을 통해서 텍스트를 인식한 후, 그 텍스트가 지시선을 따라서 레이블링과 매칭되도록 해야하는데 그런것도 CV2에서 가능할까요.. 혹시 이런 경우에 제가 dataset도면에 preprocessing 을 하는게 도움이 될까요? 예를들면 색을 칠한다든가 하는거요.   이렇게 색을 하나하나 다 칠해서 train 데이터를 만들면 인식 성공률이 매우 높아지지 않을까 하는 생각을 갖고는 있습니다... 다만 이게 우리가 알고 있는 일반적인 '도면' (Black & white) 의 적용에는 무리가 있을 것 같다는 생각이 듭니다. 선생님께서 혹시 이런 프로젝트를 접하신다면 어떤식으로 도면 인식을 접근하실것 같으신가요? 어떠한 의견이라도 주시면 너무나 감사드리겠습니다. 감사합니다.

권 철민 · Answer

안녕하십니까, 음, 어려운걸 하고 계시는 군요. 올려 주신 이미지로만 판단하기 어려울수는 있는데, 도면내의 object 들이 비슷한 형태가 많아 보이는군요. 이럴 경우 잘 아시겠지만, 모델 성능이 좋지 못할 가능성이 높습니다. 색상 정보도 중요하지만 먼저 동일한 object들이 서로 비슷하게 생길수록, 서로 다른 object들이 서로 상이한 모습 일 수록 모델 성능이 좋아 집니다. 도면내의 object 들이 이런 특성을 가지는지 다시 한번 검토해 주십시요. 위 올려 주신 이미지내의 object들이 비슷한 형태이긴 하지만, (개인적인 생각으론) 학습 데이터를 만들고 모델을 학습해볼 시도는 해보시는 게 좋을 것 같습니다. 나중에 OCR을 통해서 텍스트를 인식한 후, 그 텍스트가 지시선을 따라서 레이블링과 매칭되도록 해야하는데 그런것도 CV2에서 가능할까요.. => cv2에서 OCR을 통해서 텍스트 인식은 가능한데,, "그 텍스트가 지시선을 따라서 레이블링과 매칭되도록 해야하는데" 라는 내용을 이해 하지 못했습니다. 좀 더 자세한 설명 부탁드립니다.   이렇게 색을 하나하나 다 칠해서 train 데이터를 만들면 인식 성공률이 매우 높아지지 않을까 하는 생각을 갖고는 있습니다 => 학습 데이터에 색을 칠하면 inference 데이터에도 색을 다 칠해 줘야 합니다. 그러면 inference 데이터를 수동으로 작업해 줘야 하는데, 이는 원하시는 자동화된 인식이 아닐것 같습니다.   선생님께서 혹시 이런 프로젝트를 접하신다면 어떤식으로 도면 인식을 접근하실것 같으신가요? => 앞에서 말씀드린 대로 최대한 서로 다른 object들이 서로 상이한 모습이 어느 정도 수준이 되는지 확인하는 작업이 필요할 것 같습니다. 이들 중 서로 다른 object임에도 모습이 비슷한 경우라면 기존 도면의 내용을 변경해서라도 좀 더 다르게 표현할 수 있는지를 고민해 보셔야 할 것 같습니다. 감사합니다.