2유형 과정 질문드립니다.

Question

target = train.pop('총가스사용량') #원핫인코딩 # train = pd.get_dummies(train) # test = pd.get_dummies(test) #라벨인코더 from sklearn.preprocessing import LabelEncoder cols = train.select_dtypes(include = 'object').columns for col in cols: le = LabelEncoder() train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) #데이터 분리 from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size = 0.2, random_state = 0) # 랜덤포레스트 from sklearn.ensemble import RandomForestRegressor rf = RandomForestRegressor(random_state = 0) rf.fit(X_tr,y_tr) pred = rf.predict(X_val) #라이트gbm # import lightgbm as lgb # lg = lgb.LGBMRegressor(random_state=0, verbose=-1) # lg.fit(X_tr,y_tr) # pred = lg.predict(X_val) #평가지표(RMSE) from sklearn.metrics import root_mean_squared_error rmse = root_mean_squared_error(y_val, pred) rmse #라벨인코더 - 랜덤포레스트 > 959.3866443164056 #원핫인코딩 - 랜덤포레스트 > 960.485846380754 #원핫인코딩 - 라이트지비엠 > 1064.8095758723994 #라벨인코더 - 라이트지비엠 > 1069.1629932934077 pred_final = rf.predict(test) submit = pd.DataFrame({'pred':pred_final}) submit.to_csv('result.csv',index=False) pd.read_csv('result.csv') 10회 유형2번을 풀어봤는데 라벨인코더와 원핫인코딩 두 가지, LightGBM과 랜덤포레스트 두 가지 이렇게 써서 4가지 경우의 수로 rmse가 가장 낮은 모델을 사용했습니다. 이 정도의 과정만 거쳐서 가장 좋은 모델을 적용해서 제출해도 높은 점수를 받을 수 있을까요? 기출 대부분이 전처리(결측치삭제, 대체 등)과정이 필요없던데 이번에 다가오는 시험에서도 전처리 할것이 없다고 판단되면 굳이 안건드려도 되는건가요?

퇴근후딴짓 · Answer

이 정도면 충분합니다. 전처리, 결측치가 있다면 처리, 카테고리가 다른 것이 있다면 합쳐서 인코딩이 필요합니다.

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. 이윤성님! 작업형 2번 문제를 풀면서 여러 가지 인코딩 방식과 모델을 시험해 보신 것은 좋은 접근입니다. 각 모델과 인코딩 방식을 비교하여 가장 낮은 RMSE를 가진 결과를 선택하시는 과정은 꼭 필요합니다. RMSE 점수가 낮을수록 예측 능력이 높아질 가능성이 있으므로 사용하신 방법은 합리적이라 할 수 있습니다. 다음 몇 가지를 고려하시면 좋겠습니다: 전처리 과정 : 데이터 전처리는 데이터의 특성에 따라 다를 수 있습니다. 모든 시험에서 전처리가 필요하지 않을 수도 있지만, 데이터에 결측치가 있거나 이상치가 있다고 판단되면 제거하거나 대체하는 것이 중요합니다. 전처리는 모델 성능에 직결되니 데이터의 상태를 잘 살펴보는 것이 좋습니다. 라벨 인코딩 vs. 원핫 인코딩 : 라벨 인코딩은 순서가 있는 범주 데이터에 적합하며, 원핫 인코딩은 순서가 무의미한 범주 데이터에 적합합니다. 사용한 두 가지 접근법을 모두 평가하신 후에 선택하는 것은 좋은 전략입니다. 모델 선택 : 최종 결과는 사용한 데이터뿐만 아니라 모델이 얼마나 잘 피팅되었는지에 달려있습니다. LightGBM과 RandomForest는 둘 다 강력한 모델이지만 데이터의 분포나 특생에 따라 성능 차이가 날 수 있습니다. 평가지표 선택 : RMSE는 회귀 모형의 예측 성능을 평가하는 데 적합한 지표입니다. RMSE가 낮을수록 좋으나, 과적합(overfitting)에 주의해야 합니다. 추가적으로, 이 유사한 질문 을 참고하신다면, 즉각적인 도움이 될 수 있을 것입니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.