모형에 대한 타당도
232
작성한 질문수 4
선생님 안녕하세요! 강의 잘 듣고 있습니.
선생님께서 roc곡선 같은경우는 회귀보다는 0이냐 1이냐와
같이 분류를 하는 예측모형에서 모형의 타당도를 확인할때 많이 이용된다라고 하셨던 것 같습니다.
그렇다면 이전에 붓꽃을 분류하는 데이터와 같이 결과값이 3종류로 나눠지는 경우는 다른 값을 사용해야하나요? 1,0,2 와 같이 결과값을 구분하였을 때는 강의에서 나온 것 처럼 정밀도 재현율, roc 곡선 같은 것들을 그대로 사용해도 되는 건가요?
.
답변 1
2
안녕하십니까,
roc auc는 보통 binary class에 적용하지만 붓꽃과 같은 멀티 클래스에도 사용 가능합니다.
roc acu를 멀티 클래스에 적용할 때는 이진 분류와 유사하게 one vs rest of all 로 적용합니다.
붓꽃과 같이 3종류가 있다면 예측 결과를 3가지를 감안하여 3개의 ROC AUC를 가지게 됩니다.
1. Setosa vs Setosa가 아닌 예측 결과(versicalor, virginica)에 따른 ROC AUC
2. Versicolor vs Versicolor가 아닌 예측 결과 (setosa, virginica)에 따른 ROC AUC
3. Virginica vs Virginica가 아닌 예측 결과(setosa, versicolor)에 따른 ROC AUC
정밀도, 재현율도 멀티 클래스에 사용 가능합니다. 멀티 클래스에 적용할 때는 평균 정밀도, 평균 재현율의 개념을 적용합니다.
평균 정밀도(재현율)은 개별 클래스의 정밀도(재현율)를 모두 합한 뒤에 클래스의 갯수로 나눈 것입니다.
가령 예를 들자면 Setosa로 예측한 결과를 기반으로 Setosa 정밀도 , Versicolor로 예측한 결과를 기반으로 Versicolor 정밀도, Virginica로 예측한 결과를 기반으로 Virginica 정밀도를 구합니다. 그리고 각각을 더한 뒤에 클래스의 갯수인 3으로 나눕니다.
즉 average precision = (Setosa 정밀도 + Versicolor 정밀도 + Virginica 정밀도) / 3 입니다.
감사합니다.
안녕하세요 열심히 수강중인 학생입니다
0
63
2
정수 인덱싱
0
68
2
넘파이 오류
0
85
2
11강 numpy의 axis 축 질문 드립니다.
0
85
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
79
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
70
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
75
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
64
2
5강 강의 오류가 있어요.
0
84
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
72
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
69
3
파이썬 다운그레이 후 사이킷런 재설치
0
117
2
좋은 강의 감사합니다.
0
74
2
scoring 함수 음수값
0
67
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
100
2
분류 평가 정확도 예측
0
79
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
99
1
카카오톡 채널 있나요
0
108
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
190
2
pca 스케일링 관련하여 질문드립니다.
0
100
2
주피터 대신 구글 코랩
0
172
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
148
2
실루엣 스코어..
0
86
2
float64 null 값 처리 방법
0
103
2