안녕하세요, OpenCV의 DNN을 이용한 Object Detection 구현 개요 및 관련 실습에서 질문이 있습니다. cv2.dnn.readNetFromTensorflow 라이브러리에서 Faster-RCNN ResNet-50 가중치 모델 파일과 환경 설정 파일을 통해 inference 네트웍 모델을 생성한다고 설명해주셨습니다. 또한, cvNet.forward()를 통해 생성한 inference 네트웍 모델에서 output을 추출, 그리고 추출한 output에서 detect 정보를 시각화 합니다. 제 질문은, Pretrained된 가중치 모델 파일은 구체적으로 무엇이며, 또한 Faster-RCNN 수업에서 설명해주신 RPN은 언제 수행하는지 궁금합니다. 제가 이해하지 못하는 부분은 다음과 같습니다.제가 이해하기로는, cvNet.forward를 통해 inference 네트웍에서 output을 추출하여, 추출한 output으로 부터 object detect를 할 수 있는데, 이때 object detect를 할 때 사용되는 알고리즘이 Faster-RCNN이라고 이해하였습니다. 그러나, Pretrained된 가중치 모델 파일은 Faster-RCNN, MobileNet, Mask-RCNN 등의 모델을 지원합니다. 가중치 모델 파일은 pretrained 된 것으로서, 이미 coco 데이터 세트 (80개의 object) 를 모두 학습해 놓은 모델이며, 즉 coco 데이터 세트를 학습할 때 Faster-RCNN 알고리즘으로 수행된 모델이라고 이해하면 될까요? 즉, Pretrained된 가중치 모델 파일이 Faster-RCNN을 지원한다는 것이 어떤 의미를 가지는지 궁금합니다.해당 pretrained된 가중치 모델 파일과 환경 설정을 통해 생성한 inference 네트웍을 통해 object detection 수행 시에 RPN을 기반으로 객체 탐지를 하는 것인지 궁금합니다. 감사합니다.

안녕하세요일전에 공지해주신 아래 파일에서 에러가 나는데 수정 좀 부탁 드립니다.1강_TF2_Detection_Model_ZOO_example_fasterrcnn_pedestrian_dataset_2022_11_11.ipynbhttps://colab.research.google.com/drive/1LIMGUFJtCWw3gdgWh3T2aorR4AwogyPS?usp=sharing 죄송합니만 개인 사정상 다소 급하오니 선처 부탁드립니다!

안녕하세요 .교수님 제가 지금 faster rcnn를 코랩 환경 말고 vscode로 구현할려고 합니다. 그런데 강의 대로 하고 있는데 mmdet의 모듈이 불러오지를 못합니다. 파이썬 버전을 3.8에서 3.10해보고 torch랑 환경을 강의대로 했는데 에러가 뜹니다. vscode로는 작동이 안 되는 이유를 알고 싶고, 어떻게 해야 하는지를 알고 싶습니다.

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 강의 내용을 질문할 경우 몇분 몇초의 내용에 대한 것인지 반드시 기재 부탁드립니다. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요. 강의 잘 듣고 있습니다!라벨링 부터 시작하고 있는 학생입니다.라벨링을 진행중에 문득 어떻게 해야되는지 몰라서 질문을 남기게 됐습니다.라벨링 진행시 중복 이미지는 삭제 하는게 좋다고 알고 있습니다.혹시 아래와 사진과 같은 경우가 발생할 때는 어떻게 하는게 좋을까요?첫 번째 줄 사진은 먼저 모든 물체에 라벨링을 진행. 이후에 사진에서 달라진 부재만 라벨링 진행.두 번째 줄 사진은 먼저 모든 물체에 라벨링 진행, 이후에 달라진 부분과 이전에 진행한 물체에 라벨링을 똑같이 진행.답변 부탁드립니다!!

안녕하세요, 강사님.몇 가지 질문이 있어 조심스레 여쭤봅니다.1.mm_mask_rcnn_train_balloon를 커스텀 데이터 세트로 돌리고 있는데아래 코드에서 validate=False로 설정하면 문제가 없이 작동하는데True로 하면 36에포크로 설정을 해줬는데 12에포크까지만 돌고 검증이돼서 결과값이 나오고 세션이 종료됩니다어떤 문제를 해결해줘야할까요,,?# epochs는 config의 runner 파라미터로 지정됨. 기본 12회 train_detector(model, datasets, cfg, distributed=False, validate=True) 강의에서 제공되는 코드는 test set이 아닌 validation set으로 성능 검증을 하는 건가요? 아래 나오는 AP와 AR 값 말고 각 클래스 별로 precision 과 recall값도 확인할 수 있나요? 

안녕하세요. 계속해서 jupyter를 통해 mmdetection을 설치하려고 하는데 error가 발생하여 문의드립니다.버전은 2.x로 다운그레이드하여 설치후 진행 중입니다. [1] 현재 torch version은 1.12.0, cuda version은 113으로 torch 버전을 변경하여 사용하려고 합니다. 아래 링크로 들어가면 설치가 가능한 걸로 이해를 했습니다. https://download.openmmlab.com/mmcv/dist/cu113/torch1.12.0/index.html따라서 명령어 : python -m pip install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu113/torch1.12.0/index.html를 실행하여 진행하는데 위의 검정 화면과 같은 에러가 뜹니다. 파이썬이 여러 버전 설치되어 있을 경우의 해결책을 사용하여 명령어를 입력하였는데도 오류가 뜹니다. [2] jupyter에서 코드 실행시 ModuleNotFoundError: No module named 'mmcv._ext' 오류가 납니다.버전이 안 맞아서 생기는 오류 같은데, [1]이 근본적으로 설치가 안되어서 그러는건지, 아니면 다른 이슈인지 모르겠습니다. 감사합니다.

craft에서 여러글자를 하나의 단어로 인식하는것이 맞는 것인가요 번호판 커스텀 데이터를 보면 bbox 와 하나의 라벨링이 있는데 해당 라벨링에 여러 단어가 들어가있습니다. 그래서 추측하기에 원래 기본적으로 하나의 단에 하나의 bbox가 있는것인데 이번 강의에서 여러 단어를 하나의 단어로 인식하는 방식이 맞는 것인지 궁금합니다. 아니면 라벨링은 무시하는 데이터 입니까?아니면 craft가 문자 인식에 탁월한 detection model이지만, 이를 글자가 아니라 애초에 번호판 박스를 인식하는데에 쓰는 것인가요?그리고 해당 bbox를 통해 전체 이미지중 해당 되는 img를 잘라서 crnn이 받아서 글자를 recognize 하는 것이 맞는것 인지 궁금합니다

선생님 안녕하세요 저는 현재 cityscape dataset을 바탕으로 kaggle mask_rcnn_nucleus 코드를 활용하여 segmentation을 해보려고 하고 있습니다.그에 따라 cityscape 데이터를 nulceus 데이터와 동일한 구조의 디렉토리로 정리하였는데요,이를 coco 포맷으로 변환하려고 하니, 아래 오류가 떠서 문의드립니다.파일 경로는 모두 맞게 입력한 것 같은데, 이미지를 못 읽고 있는 것 같습니다.. 'convert_nucleus_to_coco' 함수를 수정하거나 하지 않았는데 왜 이미지를 못읽는 걸까요?(파일 경로)(오류 메세지)convert_nucleus_to_coco('/content/drive/MyDrive/vision/DLCV_New-main/kaggle/train_data_jskim/03_masks/aachen', train_ids, '/content/drive/MyDrive/vision/DLCV_New-main/kaggle/train_data_jskim/coco_output/train_coco.json') convert_nucleus_to_coco('/content/drive/MyDrive/vision/DLCV_New-main/kaggle/train_data_jskim/03_masks/aachen', val_ids, '/content/drive/MyDrive/vision/DLCV_New-main/kaggle/train_data_jskim/coco_output/val_coco.json') _____아래 오류 메세지_____ /content/drive/MyDrive/vision/DLCV_New-main/kaggle/train_data_jskim/03_masks/aachen/aachen_000033_000019_gtFine_color/image/aachen_000033_000019_gtFine_color.png --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-63-d95f91ecbcb7> in <cell line: 1>() ----> 1 convert_nucleus_to_coco('/content/drive/MyDrive/vision/DLCV_New-main/kaggle/train_data_jskim/03_masks/aachen', train_ids, '/content/drive/MyDrive/vision/DLCV_New-main/kaggle/train_data_jskim/coco_output/train_coco.json') 2 convert_nucleus_to_coco('/content/drive/MyDrive/vision/DLCV_New-main/kaggle/train_data_jskim/03_masks/aachen', val_ids, '/content/drive/MyDrive/vision/DLCV_New-main/kaggle/train_data_jskim/coco_output/val_coco.json') <ipython-input-61-6f0ad3172ae3> in convert_nucleus_to_coco(data_root_dir, image_ids, out_file) 15 16 print(image_path) ---> 17 height, width = cv2.imread(image_path).shape[0:2] 18 # 개별 image의 dict 정보 생성 19 image_info = dict(file_name=file_name, AttributeError: 'NoneType' object has no attribute 'shape'

안녕하세요-섹션 3 RCNN의 이해 02 강의에서 강의노트 중RCNN Training - Classification 제목의 강의안에서 질문드립니다. F.E에서 Ground Truth와 SS Predicted된 영역 IOU가 0.5 이상인 경우만 해당 클래스로, 나머지는 back ground로 fine-tuning했는데 SVM Classifier에서 Ground Truth로만 학습하되 0.3 IOU이하는 Background로 설정하는 방식을 병행하는 이유가 있는지 궁금합니다! 처음부터 F.E에서 IOU를 0.3으로 설정하는 방법도 있었을텐데.. 2단계로 나눠서 순차적으로 IOU를 낮추는 게 어떤 차이가 있는지 궁금합니다!F.E에서 IOU가 0.5 이상인 이미지만 filtering했는데 SVM에서 0.3 이하인 image가 남아 있을 수 있는 건 지, 제가 이해를 잘 못한 건지도 여쭤봅니다!

안녕하세요, 선생님kaggle에서 mm_mask_rcnn_train_nucleus.ipynb 시도하려고 하니,버전 충돌의 문제인지 아래와 같이 계속 오류가 발생해서 코드를 실행하지 못하고 있습니다. 버전 문제라는 답변을 참고하여 torch버전을 낮춰서 다운로드 받아도 동일한 현상이 반복되어서, 어떻게 하면 될지 문의드립니다..오류 메시지입니다.No CUDA runtime is found, using CUDA_HOME='/usr/local/cuda' /usr/local/lib/python3.10/dist-packages/mmcv/__init__.py:20: UserWarning: On January 1, 2023, MMCV will release v2.0.0, in which it will remove components related to the training process and add a data transformation module. In addition, it will rename the package names mmcv to mmcv-lite and mmcv-full to mmcv. See https://github.com/open-mmlab/mmcv/blob/master/docs/en/compatibility.md for more details. warnings.warn( --------------------------------------------------------------------------- ModuleNotFoundError Traceback (most recent call last) <ipython-input-1-43071be0880a> in <cell line: 2>() 1 # 런타임->런타임 다시 시작 후 아래 수행. ----> 2 from mmdet.apis import init_detector, inference_detector 3 import mmcv /usr/local/lib/python3.10/dist-packages/mmdet/__init__.py in <module> 1 # Copyright (c) OpenMMLab. All rights reserved. 2 import mmcv ----> 3 import mmengine 4 from mmengine.utils import digit_version 5 ModuleNotFoundError: No module named 'mmengine' --------------------------------------------------------------------------- NOTE: If your import is failing due to a missing package, you can manually install dependencies using either !pip or !apt. To view examples of installing some common dependencies, click the "Open Examples" button below. ---------------------------------------------------------------------------

안녕하세요 권철민 선생님 선생님 강의로 많은 도움을 받고 있습니다항상 감사드립니다 오늘은 질문이 있어서 글을 올립니다 Mask RCNN에서 세그멘테이션을 할때 선생님 코드를 보면 인식하고 싶은object수 만큼만 클래스를 잡아주시던데 백그라운드는 따로 클래스로 지정할 필요가 없나요?  어떤 자료들을 보면 클래스 수가 object수+1이라면서 0번째 클래스를 background로 설정하던데요 VOC dataset 으로 실습하실때도클래스 수는 20으로 설정하셔서요 저는 제가 인식하고 싶은 물체가 5개인데백그라운드도 클래스로 넣어야하는건가라는 생각이 들었습니다class MyDataset(CocoDataset): CLASSES = ('Object01', 'Object02', 'Object03', 'Object04', 'Object05' )cfg.model.roi_head.bbox_head.num_classes = 5 cfg.model.roi_head.mask_head.num_classes = 5 백그라운드까지 넣으면 이렇게 6으로 설정하는걸까요?class MyDataset(CocoDataset): CLASSES = ('background', 'Object01', 'Object02', 'Object03', 'Object04', 'Object05' )cfg.model.roi_head.bbox_head.num_classes = 6 cfg.model.roi_head.mask_head.num_classes = 6

안녕하세요, 강사님!Mask RCNN 성능지표 관련해서 질문이 있습니다. 보통 classification 논문에서는 성능지표를 confusion matrix, accuracy, precision, recall, f1 score로 많이 쓰던데 semantic segmentation 논문에서는 mAP, mIoU, pixel accuracy를 많이 쓰나요? 논문마다 쓰는 지표가 다른 것 같아서 보편적으로 쓰는 성능 지표가 궁금합니다. 강의에서는 segmentation 성능지표 코드가 없어서 detection 강의 쪽 코드를 보면서 조합해보고 있는데 커스텀 데이터셋을 config나 registry에 등록해주는 과정이 필요한가요? 

안녕하세요 선생님외부 데이터를 가지고 교안 코드를 돌려보는 중인데요 데이터를 자꾸 background로 잡아버려서 학습이 불가합니다... 클래스 개수는 하나이고, coco json 파일에 할당도 아주 잘 되었는데 사진과 같이 모듈에서 배경으로 분류를 해 버립니다..ㅠㅠ 이런 경우 어떻게 해결해야 할런지요 

안녕하세요 선생님. 제가 다른 이미지 데이터를 가지고 fasterRCNN을 실습 중인데요, 정말 고생해서 어떻게 데이터 셋은 만들 거 같은데 학습이 돌아가지 않네요- mmdet - INFO - Automatic scaling of learning rate (LR) has been disabled.이런 에러가 뜹니다.뭐가 문젠지 1도 모르겠고, 설정 파일이나 데이터셋 형식이나 너무 복잡하고 어렵네요ㅠㅠhttps://drive.google.com/file/d/1P3nfyaeWCBdGj29KYL_J0u2_ygGeuPdf/view?usp=sharing부디 검토부탁드립니다. 감사합니다. 

안녕하세요 선생님!선생님 강의해주신 내용 바탕으로 개인 프로젝트를 진행하는 와중에 10일동안 구글링을 통해서도 해결을 못한 문제가 있어 여쭤봅니다..!AI허브(https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100)에서 받은 컨테이너고유번호(BIC)를 FasterRCNN으로 detect하는 코드를 작성중인데, 6천개로 학습시키고 학습시켰던 데이터 일부로 evaluation을 하면 검출을 잘 하는데, 새로운 데이터(학습데이터와 유사한 이미지)로 evaluation을 하면 아무것도 검출을 못하는(빈 텐서만 출력) 현상이 일어납니다. 에폭을 1부터 10까지 해보고 loss가 0.01까지 줄어들며 수렴하는것을 확인했는데도 아무것도 검출을 못하네요.ㅇ모델 : pytorch fasterrcnn_resnet50_fpn(pretrained=True)ㅇ학습과정 * 구글코랩 활용1. AI 허브 json파일을 coco 형식으로 변경(시각화를 통해 정상변경 확인)2. customdataset 정의3. 학습환경 설정 및 학습4. 가중치 저장5. evaluation 환경 설정(pretrained=False) 및 evaluation(가중치 로드)6. pycocotools로 평가지표 출력 구글코랩에서 작성한 코드는 링크로 첨부했습니다.https://colab.research.google.com/drive/1dq4wx7M5GFwLSrz8lcCLIL431Othr94Otrain 모드 모델정의하고, eval모드 모델 정의하는 부분에 뭔가 오류가 있는것 같은데 못 찾겠습니다...ㅜㅜ

yolov3 과 darknet 의 차이좀 명괘하게 알려주세요. 학습 시키려면 어떤걸로 사용해야 하는지?

단어를 어떻게 말씀드려야 할지 모르겠어서 이중 객체 검출이라는 용어를 사용했습니다.앞 선 질문에서 "몸 전체에 대한 레이블링과 얼굴 부분에 대한 레이블링, 총 2가지 레이블링" 이라고 하신 부분에 이어 질문이 있습니다.예시를 들어 자동차의 번호판 같은 것을 검출하고 싶을 때 입니다. 바로 번호판을 Annotation 작업을 해서 수행하면 상가 간판, 도로 표지판 등 네모난 물체에 글씨가 적혀있는 부분까지 오인 검출이 됩니다. 따라서 자동차를 먼저 검출하고 자동차 번호판은 자동차에만 있으니 이어서 번호판을 검출하도록 알고리즘을 작성하면 효율성이 올라갈 것 같아서 해보려고 합니다. 이렇게 이중으로 검출을 하고 싶다면 알고리즘을 어떻게 작성할지 큰 틀이 궁금해서 질문 드립니다. 직접Annotation 작업을 한다면 어떻게 해야 하는지, 그리고 올려주신 YOLO V5를 사용한다고 한다면 어떻게 이중으로 검출하라고 알고리즘을 구성할지 궁금합니다. 추가 질문으로는 객체 검출 알고리즘(YOLO 등)의 가중치가 Pre-training 된 것을 사용하는 부분입니다. 제가 이해한 학습이란 객체 검출 알고리즘을 사용하려고 하는 데이터에 대해 훈련을 시키면 가중치가 업데이트 되며 학습이 되는 것 입니다. 근데 Pre-training된 것을 사용하는 것에 어떤 의미가 있는지 궁금합니다.강의 재미있게 수강하고 있습니다. 감사합니다!

안녕하세요, 선생님. 늘 좋은 수업 감사합니다. 다름이 아니라, object detection을 위한 custom dataset annotation을 만드는 도중에'겹쳐져있는 물체'에 대한 의문 사항이 생겨 글 남깁니다.가급적 bounding box끼리는 겹치지 않게 하는 것이 좋다고 강의 중 언급하셨는데요,다른 class가 아니라 같은 class의 물체가 겹쳐있을 때에도 둘 이상의 bbox는 겹쳐서는 안되나요?겹침을 피하기 위해 bbox를 그리다보니 첨부 이미지와 같이 물체 전체를 담지 못하고 일부가 잘리게 되는데요, object detection 예시들을 보면 겹쳐있는 물체(ex.이동중인 사람들)들도 각각을 잘 감지하는 것을 확인할 수 있습니다. 겹치지 않도록 annotation한 ground truth를 학습했는데 어떻게 그와 같은 결과가 가능한 걸까요?

 우선 강의 너무 잘 들었고, 유용하게 활용할 수 있을 것 같아 너무 감사합니다!!문의 드릴 내용은 마지막 강의 커스텀 학습 시 다운받은 수업자료가 오류가 있는지 압축이 제대로 풀리지 않는데 확인 부탁드립니다.추가로 DCPose 커스텀 데이터 학습 후 웹캠 등을 활용하여 실시간 자세 추정 데모 강의도 추가해주실 수 있는지 문의드립니다.

안녕하세요, 강사님!항상 친절한 답변 덕에 하나씩 하나씩 잘 헤쳐나가고 있는 중입니다.지금은 mm_mask_rcnn_train_balloon 코드를 기반으로 커스텀 데이터셋을 계속해서 연습해보고 있는 중입니다.직접 폴리곤을 그려서 클래스 2개까지는 잘 성공을 했다가 클래스 3개로 늘려서 연습해보고 있는 중인데 아래와 같은 문제가 계속해서 발생하는데 해결을 못하고 있습니다.