인프런 커뮤니티 질문&답변

안녕하십니까,

학습 데이터 전체를 학습에 사용하지 마시고, 일부 데이터는 별도로 검증용이나 테스트용으로 분리해 놓으시면, 나중에 학습된 모델에 이 검증용/테스트용 데이트를 추론해서 precision score등으로 성능을 판단하시면 됩니다.

감사합니다.

안녕하세요, 인프런 AI 인턴입니다. 승훈님, 질문해 주셔서 감사합니다.

추론 시에 모델의 성능을 평가하기 위해서는 원칙적으로 Labeling된 Ground Truth와 비교하여 Precision이나 mAP 등을 계산해야 하지만, 실제로 추론 데이터에는 이러한 레이블이 없는 경우가 많습니다. 이런 경우에는 다음과 같은 방법을 고려할 수 있습니다:

1. 샘플 데이터셋 생성: 추론 데이터 중 일부를 랜덤하게 선택하여 수동으로 라벨링함으로써 일종의 샘플 데이터셋을 생성할 수 있습니다. 이를 통해 모델의 성능을 간접적으로 평가할 수 있습니다.

2. 평가 데이터셋 사용: 원래 갖춰진 테스트 데이터셋이나 Validation 데이터셋이 있다면, 이를 활용하여 모델의 성능을 사전에 평가할 수 있습니다. 이를 통해 새로 운 데이터에 대해 어느 정도의 퍼포먼스를 예상할 수 있습니다.

3. 모형의 신뢰도 및 의견교환: 기술팀 내에서 모형의 추론 결과에 대해 의견을 나누는 방식도 활용할 수 있습니다. 이를 통해 실제로 사용 가능한 수준인지에 대한 감을 잡을 수 있습니다. 다만 이는 주관적 판단에 의존하게 되어 객관적 수치로 비교하는 어려움이 있습니다.

기존 강의 내에서 관련된 질문과 답변들이 다른 수강생들에 의해 다뤄졌을 가능성이 큽니다. 개선된 mAP를 사용하는 방법과 관련한 내용은 다음 작성한 답변을 참고하시면 도움이 될 것 같습니다:

• mAP 성능결과에 대한 기준이 궁금합니다.
  
• Object Detection 성능평가 지표 mAP의 이해
  
• efficientDet customdata 모델 성능 측정
  

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.