efficientDet customdata 모델 성능 측정

감사합니다! 지도해주신 덕분에 결과 낼 수 있었습니다. 이제 아래와 같이 평가표로 작성하려고 합니다. (사진) D버전 별 자리에 mAP 등 정리하려고 합니다. 1) 측정된 AP로 정리하려고 합니다. AP가 소숫점 자리로 나옵니다. D0 0.8070435 D1 0.8156416 D2 0.8210681 80정도가 나오는데 제 모델이 32~51정도의 원래 모델보다 너무나도 높습니다. 제 모델이 2개 클래스와 4000장의 이미지, PASCAL이 20여개 클래스와 5000장의 이미지를 가지고 있습니다. 클래스당 데이터량이 많다고 해서 이 정도의 성능이 나올 수 있나라는 생각이 듭니다. 동시에 D버전별 격차가 그렇게 크지도 않습니다. efficientDet 모델의 특징인 경량화에도 도달하지 못한 것 같습니다. 저렇게 정리를 하는 것이 맞겠습니까? 2) 모델 FLOPS 측정은 어떻게 할까요? 마찬가지로 평가할 수 있는 function이 있을까요? 3) inference time도 측정하고 싶습니다. 이미지에 inference 하면 0.04~0.06초가 나오곤 하는데 이게 inference time이라고 해야할까요? 혹은 마찬가지로 평가할 수 있는 function이 있을까요? 4) 저러한 평가표를 작성할 때 연산에 사용된 CPU, GPU와같은 하드웨어도 언급을 해야할까요?

efficientDet customdata 모델 성능 측정

안녕하세요 말씀 주신 대로 train에서 setup_model을 통해서 loss 등을 시각화할 수 있었습니다. 추가로 mAP를 구하고자 합니다. tf2/eval의 model_fn function을 통해서 아래와 같은 결과를 구했습니다. 204/1250 [===>..........................] - ETA: 2:04creating index... index created! Loading and preparing results... Converting ndarray to lists... (82000, 7) 0/82000 DONE (t=0.67s) creating index... index created! Running per image evaluation... Evaluate annotation type *bbox* DONE (t=5.86s). Accumulating evaluation results... DONE (t=1.00s). Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.807 Average Precision (AP) @[ IoU=0.50 | area= all | maxDets=100 ] = 0.912 Average Precision (AP) @[ IoU=0.75 | area= all | maxDets=100 ] = 0.889 Average Precision (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.257 Average Precision (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.655 Average Precision (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.891 Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 1 ] = 0.659 Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 10 ] = 0.910 Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.919 Average Recall (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.705 Average Recall (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.874 Average Recall (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.955 efficientdet-d0 {'AP': 0.80704355, 'AP50': 0.91207325, 'AP75': 0.88887256, 'APs': 0.25724372, 'APm': 0.65451163, 'APl': 0.8910165, 'ARmax1': 0.6585982, 'ARmax10': 0.910449, 'ARmax100': 0.91937375, 'ARs': 0.7051282, 'ARm': 0.8744898, 'ARl': 0.9553778} 먼저, 이것으로 mAP를 구하는 방법이 맞는지 아니라면 별도의 function이 있을지 맞다면 수치 중 'APm'이 맞는지 궁금합니다. 감사합니다.

efficientDet 라이브러리 수정

안녕하세요 먼저, 프로젝트 중이라서 매일 실행하는데 오늘 발생한 문제이고, 2가지 이상 강의록에서 확인했음에도 발견된 에러라서 라이브러리 자체가 문제인 것 같습니다 말씀하신대로 colab에서 노트북을 run하고 처음cell부터 실행하니깐 재설치도 했습니다. 그리고 텍스트파일에서 옮겨 보았습니다. 잘 옮겨진줄 알았는데 확인을 못했습니다. 죄송합니다. --------------------------------------------------------------------------- ModuleNotFoundError Traceback (most recent call last) in () 3 4 import utils ----> 5 from tf2 import tfmot 6 from tf2 import train_lib 7 from tf2 import util_keras /content/automl/efficientdet/tf2/tfmot.py in () 16 import functools 17 ---> 18 import tensorflow_model_optimization as tfmot 19 from tensorflow_model_optimization.python.core.quantization.keras import quantize_wrapper 20 from tensorflow_model_optimization.python.core.quantization.keras.default_8bit import default_8bit_quantize_configs ModuleNotFoundError: No module named 'tensorflow_model_optimization' --------------------------------------------------------------------------- NOTE: If your import is failing due to a missing package, you can manually install dependencies using either !pip or !apt. To view examples of installing some common dependencies, click the "Open Examples" button below. --------------------------------------------------------------------------- 감사합니다.

from keras import anchors 에러

github/automl에서 디렉토리 찾아보니깐 keras폴더가 tf2로 변경되었네요. 아마 이걸 만든 팀에서도 문제를 인식하고 폴더명을 바꾼게 아닌가 싶은데요 원래 github 링크 불러오기 유지하고, keras를 tf2로 변경하니깐 되네요