-
질문 & 답변
카테고리
-
세부 분야
딥러닝 · 머신러닝
-
해결 여부
해결됨
정밀도/ 재현율 관련 질문입니다.
20.07.03 09:40 작성 조회수 157
0
현재 교육해주신 내용 기반으로 실데이터를 돌려보고있는데
위와 같은 결과가 나왔습니다.
그런데 이 모델은 N이 중요한 모델인데
컨퓨전 매트릭스를 보면 23,278개의 N중에서 FP를 17,421개 예측했다는 말인데
N이 중요한 사안에서는 이 학습모델이 안좋다는 의미가 아닌가요?
헌데 실제N인데 P로 예측하는 오류에서 중요하다고 말씀하신 정밀도는 0.8에 가까울정도로 괜찮게 나왔는데
이런식으로 모델링을 할때는 컨퓨전 매트릭스와 정밀도/재현율을 동시에 봐야 할까요?
일단 이 모델은 제가 생각한거에는 좋지 않은 모델인거 같은데
컨퓨전 매트릭스와 정밀도가 상반된 결과를 보이는거 같아서 혼동스러워서 질문을 드려봅니다!
답변을 작성해보세요.
0
0
gkgktmd
질문자2020.07.05
아 저는 문자 그대로 네거티브에 의미를 둬서 현실세계에서 네거티브한 거를 n으로 두고 했는데
(예를 들면 보험갱신고객을 P, 갱신하지않고 이탈한 고객을 N으로, 여기서 이탈한 고객이 분석대상)
그냥 이탈한고객을 P로 두고 하라는 말씀이시군요
감사합니다!
0
권 철민
지식공유자2020.07.03
안녕하십니까,
보통 binary classification에서는 N이 중요하도록 모델을 설계하지는 않습니다만 어떠한 모델이기에 N값이 중요한지 궁금합니다.
일반적으로 Negative 는 0, Positive는 1을 부여합니다. 그리고 이러한 값의 부여는 자의적인 부분이 있습니다. 즉 우리가 찾고자 하는 부분, 예를 들어 암 검출 모델이라면 이라면 찾고자 하는 목표가 암이므로 악성 암을 1(Positive), 음성을 0(Negative)로 설정합니다. 암을 0(N), 음성을 1(P)로 해도 예측을 하는데는 문제가 없습니다. Negative값이 잘 나오도록 모델이 만들어지면 된다고 생각할 수도 있습니다. 하지만 이렇게 하면 전체적인 binary classification의 evaluation 방법들, 예를 들어 정밀도, 재현율의 의미가 벗어나게 됩니다. 정밀도 재현율은 P를 기반으로한 Evaluation입니다.
사기검출에서도 사기를 P(1), 정상 거래를 N(0)으로 부여합니다. 때문에 대부분의 binary classification은 P가 중요한 모델입니다.
만약 N이 중요한 모델이라면 N값 즉 0을 1값 P로 변환해 주십시요. 그리고 다시 정밀도/재현율을 측정해 보십시요. 미리 예측하신대로 안좋은 성능치 값이 나올 것 같습니다.
감사합니다.
답변 3