F1-score
6
投稿した質問数 5
import pandas as pd
train = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/refs/heads/main/p2/drug_train.csv")
test = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/refs/heads/main/p2/drug_test.csv")
target=train.pop('Drug')
df=pd.concat([train,test])
df=pd.get_dummies(df)
train=df.iloc[:len(train)]
test=df.iloc[len(train):]
from sklearn.model_selection import train_test_split
X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size=0.2, random_state=2022)
from sklearn.ensemble import RandomForestClassifier
rf=RandomForestClassifier(random_state=2022)
rf.fit(X_tr, y_tr)
pred1=rf.predict(X_val)
import lightgbm as lgb
lg=lgb.LGBMClassifier(random_state=2022,verbose=-1)
lg.fit(X_tr, y_tr)
pred2=lg.predict(X_val)
from sklearn.metrics import f1_score
print(f1_score(y_val, pred1, average='macro'))
print(f1_score(y_val, pred2, average='macro'))lightgbm으로 진행해서 random_state=0으로 진행하면 0.9415가 나오고
42나 2022나 로 바꾸면 1.0이 나오는데
random_state를 0으로 해야할까요 42나 2022로 해야할까요
回答 1
0
안녕하세요, 인프런 AI 인턴입니다. 이관형님.
F1-score에 대한 질문 주셔서 감사합니다. 특정한 random_state를 사용함에 따라 모델의 성능이 크게 달라질 수 있는데, 이 점에서 의문을 가질 만합니다. random_state는 난수 발생기의 초기 값을 정함으로써, 데이터 분할과 모형 학습 간의 일관성을 확보하는 역할을 합니다. 따라서, 동일한 결과를 재현할 수 있도록 해 주는 중요한 설정입니다.
random_state 선택 기준
재현 가능성:
random_state를 설정하면 동일한 데이터를 사용하더라도, 실험을 반복할 때마다 동일한 결과를 얻을 수 있습니다.성능 지표 비교: 다양한
random_state값을 시도해 보고, 가장 높은 F1-score를 주는 값을 선택하는 것도 가능합니다. 다만, 과적합(overfitting)에 주의해야 합니다.검증 셋 성능 평가:
random_state에 의한 성능 차이는 데이터 분할의 시드 값이 달라져서 나타날 수 있는 자연스러운 결과입니다. 따라서 최종 선택 시, 전체적인 모델 추세(훈련 및 검증 셋의 성능 모두)를 고려해야 합니다.
관련하여 다른 게시물에서도 과적합 문제 및 해결 방법을 다뤘습니다. 유사한 주제를 다룬 게시물을 참고해 보세요:
- 작업형2 모의문제1 오류 해결
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
target 빈도 확인
0
2
1
작업형 2 연습문제 섹션 6
0
1
1
작업형 2번 섹션 3
0
6
1
작업형 2 인코딩, 결측치, 모델 선택 질문
0
6
0
인코딩 방식 문의
0
9
1
9회 3유형 ==> 7회 3유형 질문드려요
0
5
1
작업형 2관련 질문입니다
0
10
2
작업형2 카테고리
0
17
2
110강 회귀_8번 문의
0
10
2
XGBRegressor 학습 시 warning 출력
0
20
2
데이터 프레임을 변경해도 되나요?
0
11
2
10회 기출 작업형3 문제 2-1 질문
0
18
2
작업형 2 질문
0
18
2
작업형 2 템플릿 확인 요청
0
17
2
작업형2 인코딩 질문
0
23
2
작업형 3 벼락치기 공부방법 질문
0
32
2
기출 11회 작업형 2_전체 데이터 학습 여부
0
33
2
예측값 결과 소수점 차이
0
28
2
기출 문제와 실전챌린지 연습문제 무엇부터 푸는게 나은가요?
0
37
1
전처리 train() test([ ])
0
23
2
작업형 1 배경지식 질문
0
33
2
옳게 풀은건지 질문드립니다!
0
23
1
roc_auc_score
0
31
2
추가질문 합니다
0
23
2