인프런 커뮤니티 질문&답변
작성한 질문수
Loss와 매트릭 관계
작성
·
17
0
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!
- 먼저 유사한 질문이 있었는지 검색해보세요.
- 강의 내용을 질문할 경우 몇분 몇초의 내용에 대한 것인지 반드시 기재 부탁드립니다.
- 서로 예의를 지키며 존중하는 문화를 만들어가요.
- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
안녕하세요, 교수님 우선 훌륭한 강의로 지식이 부족한 저에게 값을 매길 수 없는 정보를 제공해주셔서 감사의 말씀 먼저 드립니다.
강의를 듣다 보니 질문이 생겼습니다. 강의 부제목 "손실(Loss)함수의 이해와 크로스 엔트로피(Cross Entropy) 상세 -02" 3분 30초 쯤에 "Loss가 좋아진다해서 반드시 매트릭이 좋아지지 않는다"라고 말씀하셨는데 이론적으론 Loss가 좋아지면 매트릭이 좋아져야한다 생각하는데 어떤 부분이 있는지 궁금해서 질문 남깁니다.
다시 한 번 좋은 강의 제공해주셔서 감사합니다.
답변 2
0
안녕하십니까,
강의에 좋은 평가 해주셔서 넘 감사합니다.
일반적으로 loss가 줄어들면 메트릭(평가지표)도 좋아집니다. 그런데 딥러닝 모델은 loss를 줄이는데 너무 집중(?)하는 경향성이 강합니다.
예를 들어, 이미 특정 클래스가 0.9의 확률로 확실해서 더 이상 이 클래스의 예측 확률을 더 높이는 방향성으로 학습을 할 필요가 없는데, 확실한 경우는 더 loss를 쉽게 줄일 수 있기 때문에 해당 경우만 집중적으로 학습을 하게 됩니다. 이 경우 loss는 줄고 확률로 0.99로 더 확실해 줄수 있지만, 다른 클래스의 예측 확률이 떨어질 수 있습니다. 그래서 전체적인 메트릭 지표는 점점 떨어질 수 있습니다.
딥러닝/머신러닝은 본능적으로(?) 오버피팅을 하는 경향이 있습니다.
이후에 나오는 실습 강의로 직접 수행 해 보시면, 아마 해당 현상을 경험하실 수 있을 것입니다. 그리고 이러한 문제점을 해결하기 위한 다양한 방법들을 이후 강의에서 배우시게 될 겁니다.
감사합니다.
0
안녕하세요, 인프런 AI 인턴입니다. 변용진님, 질문해주셔서 감사합니다!
딥러닝 모델을 평가하는 두 가지 주요 기준은 손실(Loss)과 매트릭(metric)입니다. 손실은 모델이 학습 중 얼마나 오차가 발생했는지를 나타내며, 주로 모델이 최적화하는 대상입니다. 매트릭은 모델의 성능을 평가하는 지표로, 정확도(accuracy)나 F1 score와 같은 것이 여기에 포함됩니다.
모델이 학습되면서 손실이 줄어드는 것은 모델이 주어진 데이터에 대해 예측을 더 잘하고 있다는 의미입니다. 그러나 다음과 같은 이유로 손실이 좋아져도 매트릭이 반드시 좋아지지 않을 수 있습니다:
불균형 데이터: 손실은 특정 클래스에 더 민감하게 반응할 수 있습니다. 예를 들어, 클래스가 불균형한 경우 모델이 더 빈도가 높은 클래스를 더 잘 예측하게 되어 손실은 줄어들지만, 정확도 자체는 개선되지 않을 수 있습니다.
과적합: 모델이 훈련 데이터에 너무 집중하게 되어 일반화가 잘되지 않는 경우, 훈련 데이터에 대한 손실은 줄어들지만 테스트 데이터나 검증 데이터에 대해 매트릭은 오히려 나빠질 수 있습니다.
손실 함수와 매트릭의 차이: 손실 함수는 모델의 파라미터 최적화를 위해 사용되는 반면, 매트릭은 결과의 질을 평가하는 데 사용됩니다. 이러한 두 개념이 항상 일치하지 않을 수 있습니다.
이 주제를 이해하는 데 도움이 되는 유사한 질문들이 있어 링크를 첨부합니다:
궁금한 점이 더 있으시면 언제든지 추가로 질문해 주세요. 지식공유자께서 빠르게 답변해 주실 것입니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.