CIFAIR10 CNN 모델 실습 중 모델 평가에 대한 질문
안녕하세요 선생님. 강의중 12분 20초쯤에 손실값과 정확도가 둘 다 높은 상태로 보이는데, 정확도가 높으면 손실값이 낮아야하는거 아닌가요? 아무리 테스트 데이터에 대한 평가라고 해도 정확도에 비해 손실값이 너무 높은게 좀 이상해보입니다. 학습할 때는 손실값을 낮게, 정확도는 높게라는 개념이 모델을 평가할 때는 조금 다른건가요?
답변 1
0
안녕하십니까,
손실값이 크다라는 것이 어떤 기준으로 생각하시는지 잘 모르겠지만, 손실값이 크다는 기준은 고정되어 있지는 않습니다.
(당연히 그럴거라 생각하시겠지만) 손실값은 1 - 정확도가 아닙니다.
정확도와 손실값은 계산 기준 척도 자체가 다릅니다. 때문에 손실값이 크다 작다라는 개념 보다는 손실값이 학습을 수행할 때 마다 지속적으로 감소하는 방향으로 진행이 되는 것을 확인하는 것이 더 중요합니다.
원하시는 답변이 아니면 다시 글 부탁드립니다.
감사합니다.
0
질문이 잘못전달된거 같아서 다시 질문드립니다.
모델 학습시에 출력되는 에폭 로그를 보면, 학습 데이터에 대한 손실값은 계속 줄어드는 반면, 검증 데이터에 대한 손실값은 일정치 이하로 줄어든 후 같은 값을 유지하는 것으로 보입니다.
또 학습된 모델에 대한 평가 함수 호출 시 출력되는 로그의 손실값을 보면 검증 데이터의 평균적인 손실값과 비슷한 수치를 보여줍니다.
잘 학습된 모델이라면 검증/테스트 데이터에 대한 예측 결과가 정확도도 높고 손실값도 낮은게 좋은게 아닌지 궁금합니다. 그리고 지금 생각해보니 이 모델이 그냥 오버피팅된 것으로 보이는데 제 생각이 맞는지 궁금합니다.
1
잘 학습된 모델이라면 검증/테스트 데이터에 대한 예측 결과가 정확도도 높고 손실값도 낮은게 좋은게 아닌지 궁금합니다
=> 네 맞습니다.
그리고 지금 생각해보니 이 모델이 그냥 오버피팅된 것으로 보이는데 제 생각이 맞는지 궁금합니다.
=> epochs를 거듭한다고 지속적으로 검증/테스트 데이터로 모델 성능이 높아지지는 않습니다. (강의에서도 말씀드리지만) 어느정도 epochs 이후에는 검증/테스트 데이터에서는 오버피팅이 일정 수준 발생해서 더 이상 성능이 좋아지지 않고 있습니다.
resize 질문
0
50
1
20251212 Kaggle 런타임에 scikit-learn 설치 실패 트러블 슈팅
0
75
1
Loss와 매트릭 관계
0
61
2
Boston 코랩 실습
0
162
2
배치 정규화의 이해와 적용 2 강의 질문
0
134
2
Augmentation원본에 적용해서 데이터 갯수 자체를 늘리는 행위는 의미가있나요?
0
144
2
Conv함수 안에 activation 을 넣지 않는 이유가 뭔지 궁금합니다.
0
203
2
소프트맥스 관련 질문입니다
0
208
1
강의 관련 질문입니다
0
151
2
residual block과 identity block의 차이
0
185
2
옵티마이저와 경사하강법의 차이가 궁금합니다.
1
238
1
실습 환경
0
165
2
입력 이미지 크기
0
243
2
데이터 증강
0
195
2
albumentations ShiftScaleRotate
0
205
1
Model Input Size 관련
0
279
1
마지막에 bird -> frog 말고도 deer -> frog 도 잘못된것 아닌가요??
0
204
1
일반적인 질문 (kaggle notebook사용)
0
272
2
실무에서 Augmentation 적용 시
0
337
2
안녕하세요 교수님
0
231
1
가중치 초기화(Weight Initialization) 질문입니다.
0
327
1
테스트 데이터셋 predict의 'NoneType' object has no attribute 'shape' 오류
0
407
1
학습이 이상하게 됩니다.
2
1035
2
boston import가 안됩니다
0
228
1