F1-score
import pandas as pd
train = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/refs/heads/main/p2/drug_train.csv")
test = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/refs/heads/main/p2/drug_test.csv")
target=train.pop('Drug')
df=pd.concat([train,test])
df=pd.get_dummies(df)
train=df.iloc[:len(train)]
test=df.iloc[len(train):]
from sklearn.model_selection import train_test_split
X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size=0.2, random_state=2022)
from sklearn.ensemble import RandomForestClassifier
rf=RandomForestClassifier(random_state=2022)
rf.fit(X_tr, y_tr)
pred1=rf.predict(X_val)
import lightgbm as lgb
lg=lgb.LGBMClassifier(random_state=2022,verbose=-1)
lg.fit(X_tr, y_tr)
pred2=lg.predict(X_val)
from sklearn.metrics import f1_score
print(f1_score(y_val, pred1, average='macro'))
print(f1_score(y_val, pred2, average='macro'))lightgbm으로 진행해서 random_state=0으로 진행하면 0.9415가 나오고
42나 2022나 로 바꾸면 1.0이 나오는데
random_state를 0으로 해야할까요 42나 2022로 해야할까요
답변 2
0
안녕하세요, 인프런 AI 인턴입니다. 이관형님.
F1-score에 대한 질문 주셔서 감사합니다. 특정한 random_state를 사용함에 따라 모델의 성능이 크게 달라질 수 있는데, 이 점에서 의문을 가질 만합니다. random_state는 난수 발생기의 초기 값을 정함으로써, 데이터 분할과 모형 학습 간의 일관성을 확보하는 역할을 합니다. 따라서, 동일한 결과를 재현할 수 있도록 해 주는 중요한 설정입니다.
random_state 선택 기준
재현 가능성:
random_state를 설정하면 동일한 데이터를 사용하더라도, 실험을 반복할 때마다 동일한 결과를 얻을 수 있습니다.성능 지표 비교: 다양한
random_state값을 시도해 보고, 가장 높은 F1-score를 주는 값을 선택하는 것도 가능합니다. 다만, 과적합(overfitting)에 주의해야 합니다.검증 셋 성능 평가:
random_state에 의한 성능 차이는 데이터 분할의 시드 값이 달라져서 나타날 수 있는 자연스러운 결과입니다. 따라서 최종 선택 시, 전체적인 모델 추세(훈련 및 검증 셋의 성능 모두)를 고려해야 합니다.
관련하여 다른 게시물에서도 과적합 문제 및 해결 방법을 다뤘습니다. 유사한 주제를 다룬 게시물을 참고해 보세요:
- 작업형2 모의문제1 오류 해결
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
회귀 문제를 풀때 질문입니다.
0
6
0
불균형 처리 후 성능이 더 낮아졌다면,
0
14
1
실기 체험 제2유형 에러 문의
0
12
0
LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요
0
12
1
3번문제 등분산 가정
0
21
2
작업형3 target 형 변환 질문
0
18
2
[작업형1] 연습문제 섹션1 ~ 10 의 section4
0
15
3
원핫인코딩과 레이블 인코딩에서 concat
0
29
2
제2유형 질문입니다.
0
34
2
C()
0
32
2
작업형 2에서 strafity 적용 유무
0
35
2
수강 기간 연장 가능 여부 문의드립니다.
0
39
1
ols
0
29
2
2유형 작성관련 질문(일반 심화)
0
26
2
2유형 작성관련 질문
0
24
2
2유형 object컬럼 개수 다르면
0
30
2
코딩팡질문이요ㅠㅠ
0
28
2
관찰값과 기대값의 개념이 헷갈립니다.
0
15
2
작업형2 ID 컬럼 삭제 질문
0
28
2
2유형 작성관련 질문
0
22
2
memoryerror 질문
0
19
2
작업형 유형2 이렇게 고정 템플릿으로 가져가도 될까요?
0
29
1
ID 삭제 필수 인가요?
0
26
3
7회 기출문제 작업형1번 df 변환 후 저장되는 방식 질문
0
22
2