logistic regression 에서 convergence warning
답변 1
1
안녕하십니까,
사이킷런이 upgrade되면서 LogisticRegression에서 solver에 따른 warning 메시지가 나오곤 합니다.
이 solver는 Gradient Descent와 같이 weight 값을 최적화 하는 유형들을 구분한 것입니다.
사이킷런 문서에 아래와 같이 solver들의 값과 설명이 나와 있습니다만 결코 이해하기가 쉽지 않습니다.
https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html
-
For small datasets, ‘liblinear’ is a good choice, whereas ‘sag’ and ‘saga’ are faster for large ones.
-
For multiclass problems, only ‘newton-cg’, ‘sag’, ‘saga’ and ‘lbfgs’ handle multinomial loss; ‘liblinear’ is limited to one-versus-rest schemes.
-
‘newton-cg’, ‘lbfgs’, ‘sag’ and ‘saga’ handle L2 or no penalty
-
‘liblinear’ and ‘saga’ also handle L1 penalty
-
‘saga’ also supports ‘elasticnet’ penalty
-
‘liblinear’ does not support setting
penalty='none'
저도 세부 구분을 명확하게 드리기에는 무리입니다. 다만 Logistic Regression을 Stochastic Gradient Descent 방식과 유사하게 최적화하는 구분 정도로만 이해하셔도 큰 무리는 없을 것 같습니다.
그리고 전부 다 solver값을 테스트 한건 아니지만 데이터가 스케일이 잘 되어 있다면 어떤것을 적용해도 큰 차이가 없는 것 같습니다. 다만 수행 속도나 규제 적용, multiclass 적용등에는 이들 solver값 적용 차이가 있습니다.(위 영어 설명 참조)
각 solver별로 (데이터에 따라) 최적화 되는 convergence 횟수가 차이가 있을 수 있습니다. 늘려 주셔도 되고 꼭 convergence가 되지 않아도 큰 성능 차이는 없는 것 같습니다. 물론 convergence가 되면 최소 손실이 되는 지점을 찾았으니까, 최적화가 잘 되었다는 의미 입니다.
감사합니다.
안녕하세요 열심히 수강중인 학생입니다
0
60
2
정수 인덱싱
0
68
2
넘파이 오류
0
83
2
11강 numpy의 axis 축 질문 드립니다.
0
85
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
77
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
69
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
75
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
64
2
5강 강의 오류가 있어요.
0
83
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
72
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
69
3
파이썬 다운그레이 후 사이킷런 재설치
0
116
2
좋은 강의 감사합니다.
0
72
2
scoring 함수 음수값
0
67
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
99
2
분류 평가 정확도 예측
0
76
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
98
1
카카오톡 채널 있나요
0
106
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
189
2
pca 스케일링 관련하여 질문드립니다.
0
100
2
주피터 대신 구글 코랩
0
171
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
146
2
실루엣 스코어..
0
84
2
float64 null 값 처리 방법
0
102
2