Validation Dataset의 Shuffle 관련 질문
안녕하세요. 강의 통해 항상 도움 받고 있습니다.
다름이 아니라 현재 진행중인 프로젝트에서 모델을 학습하며 Validation 데이터셋에 대한 성능을 확인하는데, Validation 데이터셋의 shuffle을 했을 때와 안했을 때 성능에 유의미한 차이가 발생합니다.
무엇이 이유이며 Validation 및 Test Dataset은 항상 Shuffle=False로 설정해주어야 하는지 궁금합니다.
답변 1
0
안녕하세요.
일단 평가 메트릭이 무엇인지 말씀을 안하셔서 일반적으로 생각할 수 있는 정확도나 MSE를 기준으로 말씀 드리겠습니다.
결론부터 말씀드리면 셔플 유무는 평가에 관계가 없습니다. 예를 들어 정확도 같은 경우 (맞은 개수)/(전체 개수)를 계산하는 것이기 때문에 맞은 개수를 세는 순서가 다르다고 해서 그 개수가 달라질 수 없습니다. MSE도 마찬가지구요.
따라서 코드를 다시 살펴보실 필요가 있습니다.
평가 마다 일부 데이터가 사용되는지..
평가 마다 데이터 셋이 달라지는지..
평가 시 전체 계산이 아닌 배치 계산의 평균으로 되어 있는지.. (계산에 따라 전체 계산과 배치계산의 평균이 같을수도 다를 수도 있습니다.)
아웃풋만 셔플이 되고 타겟값은 그대로인지..
평가 메트릭이 잘 정의 되었는지..
열공하세요 :)
수업자료 제공 부탁드립니다.
0
95
2
코드가 어디에 있는지 모르겠습니다.
0
93
2
논문 구현
0
187
2
overfitting이 나는 이유가 궁금합니다.
1
170
2
분류 성능이 잘 안 나오는 이유
0
217
1
AutoEncoder 차원 질문
1
250
2
사전 학습 모델에서의 layer 변경에 대한 질문
1
221
1
7강 폴더 만들
0
260
1
4-3강 cross-validation에서의 best model 선정 기준
0
450
1
regression 문제에 대한 결과 시각화
0
213
1
Loss function 관련하여 질문드립니다.
0
956
1
early stopping 코드 문의
0
325
1
예측 그래프
0
355
1
데이터 불균형
1
364
1
8강 전이 학습 질문
0
395
2
data의 gpu처리 질문
0
241
1
nn.Linear(1024, 10) 관련 질문드립니다.
0
288
1
학습과 평가시 Loss 함수가 다른 이유
0
249
1
전처리 관련해서 질문 있습니다.
0
225
1
데이터 엔지니어의 역량을 기르려면 어떻게 해야할까요?
0
934
2
역전파 내용 중 미분 관련 질문 드립니다
1
282
1
8강 전이학습에서 kernel size 관련 질문 드립니다.
1
957
1
이미지분류-합성곱신경망(CNN) 피쳐맵 질문입니다.
1
586
1
14강 데이터 불균형 RandomRotation
1
482
1