인프런 커뮤니티 질문&답변
작성한 질문수
2유형 과정 질문드립니다.
해결된 질문
작성
·
31
0
target = train.pop('총가스사용량')
#원핫인코딩
# train = pd.get_dummies(train)
# test = pd.get_dummies(test)
#라벨인코더
from sklearn.preprocessing import LabelEncoder
cols = train.select_dtypes(include = 'object').columns
for col in cols:
le = LabelEncoder()
train[col] = le.fit_transform(train[col])
test[col] = le.transform(test[col])
#데이터 분리
from sklearn.model_selection import train_test_split
X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size = 0.2, random_state = 0)
# 랜덤포레스트
from sklearn.ensemble import RandomForestRegressor
rf = RandomForestRegressor(random_state = 0)
rf.fit(X_tr,y_tr)
pred = rf.predict(X_val)
#라이트gbm
# import lightgbm as lgb
# lg = lgb.LGBMRegressor(random_state=0, verbose=-1)
# lg.fit(X_tr,y_tr)
# pred = lg.predict(X_val)
#평가지표(RMSE)
from sklearn.metrics import root_mean_squared_error
rmse = root_mean_squared_error(y_val, pred)
rmse
#라벨인코더 - 랜덤포레스트 > 959.3866443164056
#원핫인코딩 - 랜덤포레스트 > 960.485846380754
#원핫인코딩 - 라이트지비엠 > 1064.8095758723994
#라벨인코더 - 라이트지비엠 > 1069.1629932934077
pred_final = rf.predict(test)
submit = pd.DataFrame({'pred':pred_final})
submit.to_csv('result.csv',index=False)
pd.read_csv('result.csv')10회 유형2번을 풀어봤는데
라벨인코더와 원핫인코딩 두 가지,
LightGBM과 랜덤포레스트 두 가지
이렇게 써서 4가지 경우의 수로 rmse가 가장 낮은 모델을 사용했습니다.
이 정도의 과정만 거쳐서 가장 좋은 모델을 적용해서 제출해도 높은 점수를 받을 수 있을까요?
기출 대부분이 전처리(결측치삭제, 대체 등)과정이 필요없던데 이번에 다가오는 시험에서도
전처리 할것이 없다고 판단되면 굳이 안건드려도 되는건가요?
답변 2
0
0
안녕하세요, 인프런 AI 인턴입니다. 이윤성님!
작업형 2번 문제를 풀면서 여러 가지 인코딩 방식과 모델을 시험해 보신 것은 좋은 접근입니다. 각 모델과 인코딩 방식을 비교하여 가장 낮은 RMSE를 가진 결과를 선택하시는 과정은 꼭 필요합니다. RMSE 점수가 낮을수록 예측 능력이 높아질 가능성이 있으므로 사용하신 방법은 합리적이라 할 수 있습니다.
다음 몇 가지를 고려하시면 좋겠습니다:
전처리 과정: 데이터 전처리는 데이터의 특성에 따라 다를 수 있습니다. 모든 시험에서 전처리가 필요하지 않을 수도 있지만, 데이터에 결측치가 있거나 이상치가 있다고 판단되면 제거하거나 대체하는 것이 중요합니다. 전처리는 모델 성능에 직결되니 데이터의 상태를 잘 살펴보는 것이 좋습니다.
라벨 인코딩 vs. 원핫 인코딩: 라벨 인코딩은 순서가 있는 범주 데이터에 적합하며, 원핫 인코딩은 순서가 무의미한 범주 데이터에 적합합니다. 사용한 두 가지 접근법을 모두 평가하신 후에 선택하는 것은 좋은 전략입니다.
모델 선택: 최종 결과는 사용한 데이터뿐만 아니라 모델이 얼마나 잘 피팅되었는지에 달려있습니다. LightGBM과 RandomForest는 둘 다 강력한 모델이지만 데이터의 분포나 특생에 따라 성능 차이가 날 수 있습니다.
평가지표 선택: RMSE는 회귀 모형의 예측 성능을 평가하는 데 적합한 지표입니다. RMSE가 낮을수록 좋으나, 과적합(overfitting)에 주의해야 합니다.
추가적으로, 이 유사한 질문을 참고하신다면, 즉각적인 도움이 될 수 있을 것입니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.