F1-score
import pandas as pd
train = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/refs/heads/main/p2/drug_train.csv")
test = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/refs/heads/main/p2/drug_test.csv")
target=train.pop('Drug')
df=pd.concat([train,test])
df=pd.get_dummies(df)
train=df.iloc[:len(train)]
test=df.iloc[len(train):]
from sklearn.model_selection import train_test_split
X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size=0.2, random_state=2022)
from sklearn.ensemble import RandomForestClassifier
rf=RandomForestClassifier(random_state=2022)
rf.fit(X_tr, y_tr)
pred1=rf.predict(X_val)
import lightgbm as lgb
lg=lgb.LGBMClassifier(random_state=2022,verbose=-1)
lg.fit(X_tr, y_tr)
pred2=lg.predict(X_val)
from sklearn.metrics import f1_score
print(f1_score(y_val, pred1, average='macro'))
print(f1_score(y_val, pred2, average='macro'))lightgbm으로 진행해서 random_state=0으로 진행하면 0.9415가 나오고
42나 2022나 로 바꾸면 1.0이 나오는데
random_state를 0으로 해야할까요 42나 2022로 해야할까요
답변 2
0
안녕하세요, 인프런 AI 인턴입니다. 이관형님.
F1-score에 대한 질문 주셔서 감사합니다. 특정한 random_state를 사용함에 따라 모델의 성능이 크게 달라질 수 있는데, 이 점에서 의문을 가질 만합니다. random_state는 난수 발생기의 초기 값을 정함으로써, 데이터 분할과 모형 학습 간의 일관성을 확보하는 역할을 합니다. 따라서, 동일한 결과를 재현할 수 있도록 해 주는 중요한 설정입니다.
random_state 선택 기준
재현 가능성:
random_state를 설정하면 동일한 데이터를 사용하더라도, 실험을 반복할 때마다 동일한 결과를 얻을 수 있습니다.성능 지표 비교: 다양한
random_state값을 시도해 보고, 가장 높은 F1-score를 주는 값을 선택하는 것도 가능합니다. 다만, 과적합(overfitting)에 주의해야 합니다.검증 셋 성능 평가:
random_state에 의한 성능 차이는 데이터 분할의 시드 값이 달라져서 나타날 수 있는 자연스러운 결과입니다. 따라서 최종 선택 시, 전체적인 모델 추세(훈련 및 검증 셋의 성능 모두)를 고려해야 합니다.
관련하여 다른 게시물에서도 과적합 문제 및 해결 방법을 다뤘습니다. 유사한 주제를 다룬 게시물을 참고해 보세요:
- 작업형2 모의문제1 오류 해결
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
2회 기출유형(작업형1) Warning
0
19
2
describe()
0
34
2
수강기간 연장 문의
0
58
2
빅데이터분석기사 실기 인코딩
0
55
2
수강기간 연장문의
0
62
2
수강 기간 연장 문의 드립니다.. 부탁드립니다 ㅠㅠ
0
50
2
작업형2와 3의 목적
0
40
1
기출9회(작업형 1의 2번문제)
0
39
2
수강 기간 연장 문의 드립니다.
0
57
2
수강 연장 문의드립니다
0
65
2
수강 연장 문의드립니다.
0
51
2
재결제 가능할까요...
0
59
1
비전공자 빅분기 실기 공부방법
1
69
2
강의일시정지 요청합니다
0
63
2
강의 연장 가능할까요 ㅠㅠ
0
58
2
수강 연장 문의드립니다.
0
63
2
수강기간 연장 가능 여부 문의드립니다.
0
83
1
수강 기간 연장 가능 여부 문의드립니다
0
85
2
강의 업데이트
0
80
2
수강 연장 문의드립니다.
0
100
2
강의 연장 문의
0
76
2
수강 신청 연장 문의드립니다.
0
88
2
작업형 1번문제... 환경관련
0
67
2
12회 기출은 언제 업데이트 될까요??
1
89
2