kkkk

감사합니다!
지도해주신 덕분에 결과 낼 수 있었습니다.
이제 아래와 같이 평가표로 작성하려고 합니다.
<img src="https://cdn.inflearn.com/public/comments/ca9be68d-a3e2-4e2a-b804-5c21a05b19a5/8.png" alt="" width="879" height="586" />
&nbsp;
D버전 별 자리에 mAP 등 정리하려고 합니다.
1) 측정된 AP로 정리하려고 합니다.
AP가 소숫점 자리로 나옵니다.
D0 0.8070435
D1 0.8156416
D2 0.8210681
&nbsp;80정도가 나오는데 제 모델이 32~51정도의 원래 모델보다 너무나도 높습니다.
제 모델이 2개 클래스와 4000장의 이미지, PASCAL이 20여개 클래스와 5000장의 이미지를 가지고 있습니다.
클래스당 데이터량이 많다고 해서 이 정도의 성능이 나올 수 있나라는 생각이 듭니다.
동시에 D버전별 격차가 그렇게 크지도 않습니다. efficientDet 모델의 특징인 경량화에도 도달하지 못한 것 같습니다.
&nbsp;
저렇게 정리를 하는 것이 맞겠습니까?
&nbsp;
2) 모델 FLOPS 측정은 어떻게 할까요?
마찬가지로 평가할 수 있는 function이 있을까요?
&nbsp;
3) inference time도 측정하고 싶습니다.
이미지에 inference 하면 0.04~0.06초가 나오곤 하는데 이게 inference time이라고 해야할까요?
혹은 마찬가지로 평가할 수 있는 function이 있을까요?
&nbsp;
4) 저러한 평가표를 작성할 때 연산에 사용된 CPU, GPU와같은 하드웨어도 언급을 해야할까요?
&nbsp;
&nbsp;

efficientDet customdata 모델 성능 측정

안녕하세요
말씀 주신 대로&nbsp;
train에서 setup_model을 통해서 loss&nbsp; 등을 시각화할 수 있었습니다.
&nbsp;
추가로 mAP를 구하고자 합니다.
tf2/eval의 model_fn function을 통해서 아래와 같은 결과를 구했습니다.
&nbsp;
204/1250 [===>..........................] - ETA: 2:04creating index...
index created!
Loading and preparing results...
Converting ndarray to lists...
(82000, 7)
0/82000
DONE (t=0.67s)
creating index...
index created!
Running per image evaluation...
Evaluate annotation type *bbox*
DONE (t=5.86s).
Accumulating evaluation results...
DONE (t=1.00s).
Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.807
Average Precision (AP) @[ IoU=0.50 | area= all | maxDets=100 ] = 0.912
Average Precision (AP) @[ IoU=0.75 | area= all | maxDets=100 ] = 0.889
Average Precision (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.257
Average Precision (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.655
Average Precision (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.891
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 1 ] = 0.659
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 10 ] = 0.910
Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.919
Average Recall (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.705
Average Recall (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.874
Average Recall (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.955
efficientdet-d0 {'AP': 0.80704355, 'AP50': 0.91207325, 'AP75': 0.88887256, 'APs': 0.25724372, 'APm': 0.65451163, 'APl': 0.8910165, 'ARmax1': 0.6585982, 'ARmax10': 0.910449, 'ARmax100': 0.91937375, 'ARs': 0.7051282, 'ARm': 0.8744898, 'ARl': 0.9553778}
&nbsp;
먼저, 이것으로 mAP를 구하는 방법이 맞는지 아니라면 별도의 function이 있을지
맞다면 수치 중 'APm'이 맞는지 궁금합니다.
감사합니다.

안녕하세요
먼저, 프로젝트 중이라서 매일 실행하는데 오늘 발생한 문제이고, 2가지 이상 강의록에서 확인했음에도 발견된 에러라서 라이브러리 자체가 문제인 것 같습니다
<p class="0" style="color: #000000; font-family: 'Spoqa Han Sans'; font-size: medium; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-thickness: initial; text-decoration-style: initial; text-decoration-color: initial;">말씀하신대로 colab에서 노트북을 run하고 처음cell부터 실행하니깐 재설치도 했습니다.
그리고 텍스트파일에서 옮겨 보았습니다. 잘 옮겨진줄 알았는데 확인을 못했습니다. 죄송합니다.
---------------------------------------------------------------------------
ModuleNotFoundError Traceback (most recent call last)
<ipython-input-26-36ef36cadfc8> in <module>()
3 
4 import utils
----> 5 from tf2 import tfmot
6 from tf2 import train_lib
7 from tf2 import util_keras
&nbsp;
/content/automl/efficientdet/tf2/tfmot.py in <module>()
16 import functools
17 
---> 18 import tensorflow_model_optimization as tfmot
19 from tensorflow_model_optimization.python.core.quantization.keras import quantize_wrapper
20 from tensorflow_model_optimization.python.core.quantization.keras.default_8bit import default_8bit_quantize_configs
&nbsp;
ModuleNotFoundError: No module named 'tensorflow_model_optimization'
&nbsp;
---------------------------------------------------------------------------
NOTE: If your import is failing due to a missing package, you can
manually install dependencies using either !pip or !apt.
&nbsp;
To view examples of installing some common dependencies, click the
"Open Examples" button below.
---------------------------------------------------------------------------
&nbsp;
감사합니다.

efficientDet 라이브러리 수정

github/automl에서 디렉토리 찾아보니깐 keras폴더가 tf2로 변경되었네요. 아마 이걸 만든 팀에서도 문제를 인식하고 폴더명을 바꾼게 아닌가 싶은데요&nbsp;
원래 github 링크 불러오기 유지하고, keras를 tf2로 변경하니깐 되네요

kkkk

Posts