F1-score
import pandas as pd
train = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/refs/heads/main/p2/drug_train.csv")
test = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/refs/heads/main/p2/drug_test.csv")
target=train.pop('Drug')
df=pd.concat([train,test])
df=pd.get_dummies(df)
train=df.iloc[:len(train)]
test=df.iloc[len(train):]
from sklearn.model_selection import train_test_split
X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size=0.2, random_state=2022)
from sklearn.ensemble import RandomForestClassifier
rf=RandomForestClassifier(random_state=2022)
rf.fit(X_tr, y_tr)
pred1=rf.predict(X_val)
import lightgbm as lgb
lg=lgb.LGBMClassifier(random_state=2022,verbose=-1)
lg.fit(X_tr, y_tr)
pred2=lg.predict(X_val)
from sklearn.metrics import f1_score
print(f1_score(y_val, pred1, average='macro'))
print(f1_score(y_val, pred2, average='macro'))lightgbm으로 진행해서 random_state=0으로 진행하면 0.9415가 나오고
42나 2022나 로 바꾸면 1.0이 나오는데
random_state를 0으로 해야할까요 42나 2022로 해야할까요
답변 2
0
안녕하세요, 인프런 AI 인턴입니다. 이관형님.
F1-score에 대한 질문 주셔서 감사합니다. 특정한 random_state를 사용함에 따라 모델의 성능이 크게 달라질 수 있는데, 이 점에서 의문을 가질 만합니다. random_state는 난수 발생기의 초기 값을 정함으로써, 데이터 분할과 모형 학습 간의 일관성을 확보하는 역할을 합니다. 따라서, 동일한 결과를 재현할 수 있도록 해 주는 중요한 설정입니다.
random_state 선택 기준
재현 가능성:
random_state를 설정하면 동일한 데이터를 사용하더라도, 실험을 반복할 때마다 동일한 결과를 얻을 수 있습니다.성능 지표 비교: 다양한
random_state값을 시도해 보고, 가장 높은 F1-score를 주는 값을 선택하는 것도 가능합니다. 다만, 과적합(overfitting)에 주의해야 합니다.검증 셋 성능 평가:
random_state에 의한 성능 차이는 데이터 분할의 시드 값이 달라져서 나타날 수 있는 자연스러운 결과입니다. 따라서 최종 선택 시, 전체적인 모델 추세(훈련 및 검증 셋의 성능 모두)를 고려해야 합니다.
관련하여 다른 게시물에서도 과적합 문제 및 해결 방법을 다뤘습니다. 유사한 주제를 다룬 게시물을 참고해 보세요:
- 작업형2 모의문제1 오류 해결
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
수강연장 가능 문의 (기간 약 한달반)
0
12
2
수강기간 연장 가능할까요 선생님
0
36
2
Section15. 수업에 사용하는 데이터 주소가 다 보이지 않아서 실습을 위한 데이터를 다운 받지 못하고 있습니다.
0
24
3
수강연장요청 문의
0
70
2
아무래도 다음 시험 연장은 어렵겠죠?
0
81
2
빅분기 12회 결과 관련 문의
0
93
1
책이랑 강의랑 순서나 예제가 다른것 같네요
0
71
2
수강연장 문의
0
91
2
재검토 요청 방법 좀 알려주셔요...-.-;;
0
98
2
12회 실기 질문(작업형 2)
0
82
2
뒤로가기 버튼 같은 것이 있나요?
0
60
1
강의 연장 문의
0
88
2
출력값 질문
0
65
2
수업노트가 어디에 있나요?
0
54
1
실기시험 제출관련
0
218
3
6.20 작업형 2 과적합
0
223
3
코딩팡 장업형2 베이스 라인 인코딩 종류 질문
0
80
2
로지스틱회귀, 회귀
0
73
2
회귀 문제를 풀때 질문입니다.
0
78
1
불균형 처리 후 성능이 더 낮아졌다면,
0
93
2
실기 체험 제2유형 에러 문의
0
86
1
LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요
0
73
2
3번문제 등분산 가정
0
73
2
작업형3 target 형 변환 질문
0
60
2