안녕하세요! 권철민 교수님! 질문이 있습니다!

교수님, 감사합니다.

우선, 3번 학습했다는 설명은 제가 잘못 쓴 것 같습니다.

실험을 3번 해보았는데 3번 모두 loss에서의 성능이 좋아지지 않았다는 점을 말씀드리고 싶었습니다.

모델의 성능이 좋은지, 안 좋은지가 객관적으로 구분이 되어있지 않아서 계속 교수님께 질문을 드리게 되네요..ㅎ 감사합니다

자세한 설명 다시 한번.. 너무 감사드립니다.

안녕하십니까, 

3번정도 학습을 시켰다는게 어떤 의미 인지요? 올려주신 그래프의 epoch가 25회가 넘어서 epoch가 3회라는 의미는 아닌것 같습니다만, 

그래프상에서는 말씀하신대로 성능 메트릭 after가 before 비해서 줄곧 좋군요. 반면에 loss는 after가 epoch 17회 이후 부터는 before보다 더 나빠지는것 같습니다. 이 현상을 질문하신걸로 간주하고 말씀드리겠습니다. 아니면 다시 말씀해 주십시요.  어떤 모델을 어떻게 만들었는지 자세하게 제가 알지는 못해서 일반적인 관점에서 말씀 드리겠습니다. 

1. 필터수와 층 깊이

일반적으로는 필터수가 많고 층 깊이가 깊은 모델일 수록 성능이 좋습니다. 하지만 강의에서 말씀드렸듯이 이게 한계가 있어서 아무리 필터수와 깊이를 증가시켜도 모델 성능이 좋아지지 않는 지점이 있습니다. 오히려 너무 증가시켜서 성능이 쪼오금 떨어지기도 합니다. 

2. loss와 metric 

잘 아시다시피 metric보다는 loss가 모델 성능을 파악하는데  살짝 우위에 있습니다. 그렇다고 무조건 loss는 나쁜데 metric이 좋은 경우 성능이 나빠진다고 볼 수 없습니다. loss가 줄어든다고 무조건 성능이 향상되지 않습니다. 오히려 성능이 떨어질수도 있습니다.  딥러닝 모델은 loss를 줄이는데 혈안(?)이 되어 있기 때문에 가끔 큰 그림을 보지 못하고 loss만 줄이는 방향성으로 움직일 수가 있습니다. 예를 들어 이미 loss가 작고 예측 확률이 0.9 이상 확실한 경우임에도 불고하고 계속 이런 확실한 loss를 줄이는 방향성으로 움직일 수 있습니다. 이 경우 모델 성능이 향상되지 못할 수도 잇습니다. 그러니까 확실한 문제만 계속 학습을 하다 보니 전반적인 문제에 대한 예측이 떨어질 수 있습니다. 

보여주신 모델을 epoch를 할때마다 전반적으로 성능 지표도 좋고, loss도 향상됩니다. 하지만 epoch 17정도 에서 좀더 loss가 커지는 방향성으로 움직입니다. 이 경우는 최적 loss가 epoch 17이지만 이에 수렴하지 못하고 있지만 성능 지표는 여전히 좋기 때문에 모델 성능이 떨어진다고 볼수 없습니다. 

최적 epoch횟수는 17회 정도로 판단 될 수 있습니다.  제 생각엔 learning rate를 좀 더 줄이면서 최적 epoch 개념을 섞어가면서 train을 수행해 보시는 것도 좋을 것 같습니다. 

지금 모델도 before대비 after가 성능이 좋은 모습을 보이고 있지만, learning rate를 줄여가면서 테스트 해본 결과 before 대비 after의 성능 대비가 좀 더 확실하게 나오지 않을까하는 조심스런 기대를 해봅니다.  

감사합니다.