작업형 2유형 질문있습니다!
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
일단 공부방법을 결과물 도출로 중심을 잡고 코딩하느라 전처리나 기본 인코딩, 스케일링만 진행해서 수행하는데 분류 문제시 정확도를 출력해보면 50퍼 근처로 출력되는데 감점요인이나 점수 획득에 문제가 있을까요??
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
176만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
일단 공부방법을 결과물 도출로 중심을 잡고 코딩하느라 전처리나 기본 인코딩, 스케일링만 진행해서 수행하는데 분류 문제시 정확도를 출력해보면 50퍼 근처로 출력되는데 감점요인이나 점수 획득에 문제가 있을까요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
f1 컬럼의 결측치 제거 부분에서 df = df[~df['f1'].isnull()]을 사용하셨는데 이 부분이 잘 이해가 안됩니다 ㅜ 간단하게 설명해주실 수 있을까요? 혹시 dropna를 사용해서 결측치만 제거를 할 수 있는 방법도 있을까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
RMSE 구할 때, mean_squared_error(y_valid, pred, squared=False) squared=False 작성하면 출력되던데 시험장에서 이렇게 작성해도 될까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
5-2 type2의 문제를 수치형 데이터만 선택해서 랜덤포레스트로 학습시키고 MSE로 평가했습니다. 이렇게 코드를 작성해도 될까요? MSE 값이 좀 큰 것 같은데 이 방법이 아닌 다른 방법으로 풀어야 하는 걸까요? train [ 'reviews_per_month' ] = train [ 'reviews_per_month' ] .fillna ( 0 ) test [ 'reviews_per_month' ] = test [ 'reviews_per_month' ] .fillna ( 0 ) cols = [ 'id' , 'host_id' , 'latitude' , 'longitude' , 'minimum_nights' , 'number_of_reviews' , 'reviews_per_month' , 'calculated_host_listings_count' , 'availability_365' ] test_id = test [ 'id' ] target = train.pop ( 'price' ) train = train [ cols ] test = test [ cols ] from sklearn.model_selection import train_test_split X_tr , X_val , y_tr , y_val = train_test_split ( train , target , test_size = 0.2 , random_state= 0 ) import numpy as np from sklearn.metrics import mean_squared_error from sklearn.ensemble import RandomForestRegressor rf = RandomForestRegressor () rf.fit ( X_tr , y_tr ) pred = rf.predict ( X_val ) print ( mean_squared_error ( y_val , pred )) #60931.44110148261 pred = rf.predict ( test ) submit = pd.DataFrame ({ 'id' : test_id , 'price' : pred }) submit.to _csv ( "submit.csv" , index= False )
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. 섹션5 [작업형2] 모의문제 및 캐글 - 2번쨰 강의 관련 질문입니다. 검증데이터 분리 시 아래와 같이 코드를 적었는데, from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train.drop('price', axis=1), train['price'], test_size = 0.15, random_state=2022) 윗 행에서 train.drop('price') 후, train['price']을 하는 이유가 뭔가요? 'price'값이 타겟이기 떄문에 X_tr 은 'price'가 없어야 하고, 반면, X_val은 'price'만 있어야 하니까 위 코드가 나온게 맞는것인지요? 감사합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요!! 4회 기출 아래 사진처럼 풀어도 무방한지 궁금합니다. 추가로 xgboost 쓰고 싶었는데 오류가 뜨더라구요!! 분류 1,2,3,4는 랜덤 포레스트만 사용해서 풀어야하나요?? f1평가점수가 0.49인데 잘했는지 모르겠네요 ㅠㅠ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
[문제] import pandas as pd from statsmodels.formula.api import logit df = pd.read_csv("/kaggle/input/bigdatacertificationkr/Titanic.csv") formula = "Survived ~ C(Pclass) + Gender + SibSp + Parch" model = logit(formula, data=df).fit() model.params 다름아니라 여기서 Pclass에 왜 앞에 C()를 하셨는지 이해가 안갑니다.! 참고로 데이터 info는 다음 아래와 같았습니다. Pclass : 'int' Gender : 'object' SibSp : 'int' Parch : 'int'
해결됨
빅분기 실기 1Day Class(R)
선생님께안녕하세요 선생님? 알찬 강의에 늘 감사드립니다 : ) 다름이 아니라 작업형 제1유형 문제 1번의 평일 오후 1시 casual 평균대비 registered의 평균 비율 정답 확인 부탁드립니다! > df_01 = read.csv("D:/데이터_기출예제_01/set_01_data_01.csv") > head(df_01) datetime casual registered count 1 2011-01-01 00:00:00 3 13 16 2 2011-01-01 01:00:00 8 32 40 3 2011-01-01 02:00:00 5 27 32 4 2011-01-01 03:00:00 3 10 13 5 2011-01-01 04:00:00 0 1 1 6 2011-01-01 05:00:00 0 1 1 > > library("lubridate") > df_01[,"hour"] = hour(df_01$datetime) > df_01[,"wday"] = wday(df_01$datetime,week_start=1) #week_start 기본값 0 = 월 > head(df_01) datetime casual registered count hour wday 1 2011-01-01 00:00:00 3 13 16 0 6 2 2011-01-01 01:00:00 8 32 40 1 6 3 2011-01-01 02:00:00 5 27 32 2 6 4 2011-01-01 03:00:00 3 10 13 3 6 5 2011-01-01 04:00:00 0 1 1 4 6 6 2011-01-01 05:00:00 0 1 1 5 6 > > df_01$wday = as.factor(df_01[,"wday"]) > head(df_01) datetime casual registered count hour wday 1 2011-01-01 00:00:00 3 13 16 0 6 2 2011-01-01 01:00:00 8 32 40 1 6 3 2011-01-01 02:00:00 5 27 32 2 6 4 2011-01-01 03:00:00 3 10 13 3 6 5 2011-01-01 04:00:00 0 1 1 4 6 6 2011-01-01 05:00:00 0 1 1 5 6 > > df_01_wed = filter(df_01, hour == 13, !(wday %in% c(6, 7))) > tail(df_01_wed) datetime casual registered count hour wday 319 2012-12-12 13:00:00 18 220 238 13 3 320 2012-12-13 13:00:00 41 230 271 13 4 321 2012-12-14 13:00:00 39 274 313 13 5 322 2012-12-17 13:00:00 16 194 210 13 1 323 2012-12-18 13:00:00 51 235 286 13 2 324 2012-12-19 13:00:00 30 183 213 13 3 > > cnt_casual = mean(df_01_wed$casual) > cnt_registered = mean(df_01_wed$registered) > > print(round(cnt_registered/cnt_casual,2)) [1] 3.52
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 해당 문제에서 "Events컬럼이 '1'인경우 80%의 Salse값만 반영함" 이라는 조건을 실행하기 위해서 아래와 같은 함수를 만들었는데 'Events' Key error 가 나네요. 어느 부분을 수정하면 될까요? def calc(df) : if df['Events'] == 1 : return df['Sales']*0.8 else : return df['Sales'] df['events80'] = df.apply(calc)
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 범주형 데이터라 카이제곱검정인것은 이해했습니다 다만, 카이제곱문제에서 적합도와 독립성은 어떻게 구분하나요? 제가 생각한바로는 카이제곱 검정인것은 동일하고 문제에서 독립인지 아닌지를 물어보는 제시문이 있으면 독립성 검정 그 외에는 다 적합도 검정으로 보면될까요 어떻게 제시문을 보고 구분 하는지 알려주시면 감사하겠습니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
해당 문제 연습하는 도중에 train과 test 데이터셋에 총구매액이 0원보다 작은 데이터가 있습니다. 해당 데이터를 0원으로 채우는(변환) 방법을 알고 싶습니다. 결측치의 경우 fillna()로 쉽게 채울 수 있는데 결측치가 아닌 데이터의 조건에 따른 특정값으로 채우는 방법이 궁금합니다
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
저번에 질문한 거 코드 수정 및 정리했습니다. 선생님 ※ 피쳐엔지니어링에서 train, test 셋을 분리( .copy() )해서 수치형은 스케일링하고 범주형은 인코딩 한 다음, 합치기 ( .concat() ) 하는 방식이 아니라 수치형 부분 칼럼을 변수(cols_n)로 받고, 범주형 부분을 변수(cols_c) 으로 받아서, 데이터셋을 수치와 범주형으로 분리하지 않은 상태에서 각각 스케일링, 인코딩을 적용하고 검증데이터셋 분리-> 모델 & 평가지표 불러오기 -> 예측(테스트셋 적용) -> df 생성 -> 제출 하는 방법에서 아래에 피쳐 엔지니어링 부분 코드 정리한거 확인 부탁드립니다. 경우 1. [train, test // 2개 데이터셋 제공시] # train셋엔 있고 test셋엔 없는 "target"에 해당하는 칼럼 분리 # "target" 데이터는 범주형이든 수치형이든 스케일링이나 인코딩을 하면 안되므로 제외시킴 target = train.pop(["target"]) cols_n = train.select_dtypes(exclude="O").columns cols_c = train.select_dtypes(include="O").columns ## 수치형 민맥스 스케일링 작업 from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() train[cols_n] = scaler.fit_transform(train[cols_n]) test[cols_n] = scaler.transform(test[cols_n]) ## 범주형 라벨 인코딩 작업 from sklearn.preprocessing import LabelEncoder le = LabelEncoder() for col in cols_c: le = LabelEncoder() train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) ## or 범주형 원핫 인코딩 작업 시 # .get_dummies() 원핫 인코딩은 자동으로 범주형만 찾아서 인코딩 함 # 방법 1 train = pd.get_dummies(train) test = pd.get_dummies(test) ## 라벨 인코딩과 통일성을 원한다면 (방법 2) train = pd.get_dummies(train[cols_c]) test = pd.get_dummies(test[col_c]) # 다만 어차피 자동으로 찾아주니 이렇게 하지 말고 간편한 위의 방법 1 방식으로 하자 그 다음 검증데이터셋 분리 등 과정 이후 ~~~~~~~~~~~ 제출 경우 2. [X_train, y_train, X_test // 3개 데이터셋 제공시] cols_n = X_train.select_dtypes(exclude="O").columns cols_c = X_train.select_dtypes(include="O").columns ## 수치형(스케일링) 작업 ##민맥스 스케일링 from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() X_train[cols_n] = scaler.fit_transform(train[cols_n]) X_test[cols_n] = scaler.transform(test[cols_n]) ## 범주형(인코딩) 작업 ## 라벨 인코딩 from sklearn.preprocessing import LabelEncoder le = LabelEncoder() for col in cols_c: le = LabelEncoder() X_train[col] = le.fit_transform(X_train[col]) X_test[col] = le.transform(X_test[col]) ## or 원핫 인코딩 시 # .get_dummies() 원핫 인코딩은 자동으로 범주형만 찾아서 인코딩 함 # 방법 1 X_train = pd.get_dummies(X_train) X_test = pd.get_dummies(X_test) ## 라벨 인코딩과 통일성을 원한다면 (방법 2) X_train = pd.get_dummies(X_train[cols_c]) X_test = pd.get_dummies(X_test[col_c]) # 다만 어차피 자동으로 찾아주니 이렇게 하지 말고 간편한 위의 방법 1 방식으로 하자 이후 검증데이터셋 분리 등 과정 이후 ~~~~~~~~~~~ 제출 이번 코딩엔 틀린게 없어야 할텐데..... 이거 제대로 한거 맞는지 확인 부탁드립니다. 선생님 여러 차례의 질문에 답변 해주셔서 감사합니다
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 lightBGM에서 분류, 회귀 둘 다에서 random_state, max_depth, n_estimator 쓰는 것는 동일한가요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 강사님! 2유형에서 걱정되는 부분이 있어서 질문드립니다! 2유형 train_test_split 으로 검증 할 때, test_size 값 범위를 최대 몇 프로까지 제한하는게 좋을까요? 랜덤포레스트 기준 하이퍼 파라미터 값들의 권장하는 최대 범위를 알고 싶습니다. (max_depth, n_estimators) 어느정도 범위까지가 괜찮을지 감이 잘 안오네요 ㅠ 과적합을 고려했을 때 권장하는 범위가 있을까요? 오늘도 질문 읽어주셔서 감사합니다!
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 결측치 처리하고 인코딩 하고서 lightgbm 사용해도 문제 없을까요? 그리고 하이퍼 파라미터 전부 적용하고 verbose 써주려고 할 때 괄호 안 순서가 있나요 ? ex. (random_state=, max_depth=, n_estmators=, learning_rate=, verbose=-1)??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
4회 2유형 다중분류에선 xgb를 쓸수 없나요? 계속 에러가 나옵니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
평가지표 이진분류에서 rou_auc를 사용하는 경우 실제값이 문자로 주어졌을 때는 어떻게 하나요? 강의자료에는 roc_auc = roc_auc_score(y_true, y_pred_prob_str[:,1]) 로 작성되어 있는데, y_true_str으로 작성하지 않고, y_true로 변경해서 작성해주어야 하나요? y_true_str으로 변경하면 값이 0.47 정도로 낮아지는거 같아요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. 라벨 인코딩을 진행했을 시에 X_train 데이터는 정상적으로 되는데 X_test 데이터는 아래 결과와 같이 뜨는 이유가 무엇인지 알 수 있을까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
수업 자료(노트북 빈칸, 데이터 파일) 한꺼번에 받을 수 있는 방법이 있을까요? 매 강의마다 수업노트 탭으로 바꿔서 링크 들어가서 노트북 복사하고 별도 창으로 띄운 다음 다시 강의로 돌아오는 게 무척 번거롭습니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
정답 구할 때 이 강의에서는 하드코딩 하지 말라고 했는데 질문들 보면 작업형1 에 답 적는 곳이 있어서 코드 상관없이 눈으로 결측치 많은 컬럼 확인 후 그냥 적어줘도 된다고 하더라구요 하드코딩 하지 말라고 한 이 강의 제작하실 때는 작업형1 제출할 때 코드로 제출하는 형식이었나요?