훈련 중 validation_loss가 급격하게 튀는 이유가 무엇인지 알 수 있을까요?
2096
작성한 질문수 158
안녕하세요. 혹시 모델 훈련 중에 다음과 같이 한 두 번씩 validation loss가 튀는 현상이 발생하는데, 이는 정상적인 것인가요?
아니면 현재 lr 값이 너무 커서 불안정한 상태인 것인지 판단이 잘 안서서, 경험상 어떤 것이 맞는지 조언을 얻어봐도 될까요?
답변 3
1
안녕하십니까,
validation loss가 iteration 하면서 튈수도 있습니다. 정상적인 모습이지만, 비교적 자주 튄다면 Learning rate를 줄여 보면서 관찰할 필요가 있습니다.
Learning rate를 iteration 수행시 ReduceLROnPlateau 등으로 좀더 작게 주면서 loss 변화를 확인해 보십시요(ReduceLROnPlateau 사용하는 것이 익숙하지 않다면, 초기 learning rate를 훨씬 작은값으로 넣고 확인해 보십시요).
감사합니다.
강의 환경설정 질문
0
35
2
Custom Dataset에서의 polygon 정보 관련
0
79
3
cvat.ai 보안 수준이 궁금합니다
0
77
2
캐클 nucleus 챌린지 runpod 실습 코드 에러 질문드립니다.
0
93
3
추론 결과의 Precision(또는 mAP) 평가 방법
0
80
2
mmdetection mask rcnn inferenct 실습 시 runpod 템플릿 관해서 질문드립니다.
0
56
2
runpod에서 google drive 연결 시 오류 발생
0
104
2
로드맵 선택
0
63
1
mmcv
0
54
2
Anchor box의 Positive 처리 위치
0
59
2
해당 강의 runpod 적용 후 에러 제보드립니다
0
82
2
run pod credit 관련 제보
0
92
2
mmdetection 2.x과 3.x 호환 관련 표기
0
74
2
mm_faster_rcnn_train_kitti.ipynb 실행 오류
0
93
3
질문 드립니다.
0
73
3
mm_faster_rcnn_train_coco_bccd 실행 오류 질문드립니다.
0
75
1
강사님께 수정을 제안드리고 싶은 것이 있습니다.
0
91
1
google automl efficientdet 다운로드 및 설치 오류
0
71
1
이상 탐지에 사용할 비전 기술 조언 부탁드립니다.
0
100
2
OpenCV 관련 질문드립니다.
0
67
2
mmcv 설치관련해서 문의드려요
0
324
3
강의 구성 관련해서 질문이 있습니다
1
130
2
모델 변환 성능 질문드립니다.
0
119
1
NMS 로직 문의 드려요
0
108
2