성능 수치에 관한 질문

Question

작업형2 모의문제1 27:08초     안녕하세요. 모델의 성능 수치가 0.989404816...이었다가 0.98997073,,,으로 좀 더 좋아졌다고 하셨는데요.. 문돌이인 제가 보기에는 그냥 다 같은 98%로밖에 안보기든요..ㅠ 98.94%든 98.97%든 그게..시험에서 큰 영향이 있는건가요?ㅠ 시험에서 저런 미세한 차이가 작업형 2번 문제를 40점을 받느냐, 0점을 받느냐를 좌우하는건가요? 시험문제 조건에서 'roc-auc 80% 이상일 것'이라고 적혀있으면 98.94%든 98.97%든 모두 40점을 주는게 아닌가요? 즉..98.94%면 35점이고, 98.97%는 40점인건가요?

퇴근후딴짓 · Answer

결론부터 말씀드리면, 작업형2는 평가기준을 공개하지 않고 있어요! " roc-auc 80% 이상일 것" -> 아쉽지만 문제에서 이런 조건은 없습니다. 내가 모델을 잘 만들었는지 시험에서는 비교할 대상이 없으므로 (데이터에 따라 0.5점으로 낮게 나오기도 하고 0.9점대로 너무 높게 나오기도 해서 뭔가 잘못된 건 아닌가 하는 의심이 들 때가 있어요) 베이스라인을 기준으로 두고 그것보다 좋은 성능을 내는 모델을 만든다면 안정적으로 40점을 맞지 않을까 싶어요! 그 관점에서 베이스라인을 첫 번째 목표로 해주시고, 두 번째 목표는 베이스라인보다 한 번 정도 더 좋은 성능을 내는 모델을 제출하면 됩니다 :) 참고로 아직까지는 간단한 처리(베이스라인)만으로 40점을 받은 후기가 많아요! 쉽게 40점을 취득할 수 있는 상황이라 질문 주신 대로 소수 4번째의 영향은 없으리라 생각합니다.