173만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
이 강의를 알게 되어서 이번 시험을 준비하는데 있어 정말정말 큰 도움이 되었습니다!!! 정말 감사드립니다!!! 시험을 보고 나온 시점에서 궁금한 점이 있는데요, get_dummies를 사용할 때 drop_first=True를 train,test에 모두 적용해도 되는지 궁금합니다! 또 걱정이 되는 부분은 작업형 2유형에서 모델 성능이 너무 작게 나왔다는 점입니다. RMSE값은 기억이 나지 않지만 r2값이 0.6언저리로 낮게 나왔습니다... 성능이 낮다는 이유로 0점이 나온 경우가 있는지 궁금합니다ㅠㅠㅠ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 이번 빅데이터분석기사 7회 응시생입니다! 다름아닌 RMSE 값이 900만대가 나왔는데 오답처리될까요? 다른분들은 440만이라 불안해서 질문드립니다..
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님! 안녕하세요 ㅎㅎ 선생님 덕에 작업형 3-1 소문제 두개빼고는 다 제대로 풀 수 있었어요 넘 감사합니다 💜 두개는 그냥.. 느낌대로 우선 제출은 하고왔습니다 🤣 🤣 작업형3 아예 모르는부분으로만 나올까봐 진짜 너무너무 걱정했는데.. 너무너무 감사합니다ㅠㅠ 곧 후기 제대로 남기겠습니다!!!! 근데 제가 여쭙고싶은게 있는데요! 1.작업형2 제출파일 pred가 모두 소수점 밑으로 끝에 e가 붙는데 그래도 괜찮은것 맞을까요? 2.강한 상관관계 = 양과 음의 상관관계 모두 생각해서 절댓값으로 확인해 변수를 찾았는데 강한 양or음의 상관관계가 아니고선 이렇게 해도 되는것 맞을까요?!
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
범주형 변환할때 train = pd.get_dummies(train) test = pd.get_dummies(test) 이렇게 코딩했는데 이 두줄이면 변환 된거죠..?? (cols변수에 범주형 담지 못하고, 통째로 괄호안에 써버렸네요..) info찍어서 범주형없는거 확인했고, rmse 270만, r2스코어 0.92 뜬것도 확인했는데도 원핫 처음써봐서 여쭤봅니다.(라벨만 연습했었습니다 ㅠㅠ) 어이없는 질문 받아주셔서 감사합니다
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 제출형태에 index와 y_pred를 넣으라고 되어있었는데, 이런 상황에서 실제 시험이면 index를 넣지않고 y_pred만 넣는다면 0점 처리가 되는건가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
데이터 전처리할때 타겟이 아닌 날짜데이터나 이름, 아이디값 (호스트 아이디) 같은거는 학습에 불필요해서 컬럼을 삭제해주는것이 좋나요?? 같이 학습할 경우 성능이 저하될까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요. 보통 작업형2 유형의 경우 예시된 pred 값이 소수점인 경우(보통 회귀모델) 소수점이 2번째 자리까지 표현되는데 제가 만든 csv파일을 read해보면 소수점 6자리까지도 pred값에 표현되고 있는데 상관없는건가요? rmse 값을 y_test로 불러왔을땐 예시로 만들어주신 값과 내가 코드를 작성하여 만든값이 별로 차이는 없습니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요! 캐글에서 구버전 작업형3문제를 풀다가 급하게 질문남깁니다 ㅜㅜ 문제에선 정규성이 검증되었다는 말이 없고, shapiro 결과로는 0.05보다 작게 나오더라구요 이럴땐 비모수 검정으로 진행해야한다고 알고 있었는데 풀이에서 ttest_rel로 풀이하셔서요 ㅜㅜㅜㅜㅜ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
랜덤포레스트로 단순하게 테스트사이즈를 0.2로 하고 진행했더니 행의 개수가 달라지더라고요! 그래서 계속 오류가 발생했는데 테스트 사이즈를 조절하다 0.25로 하니 61개로 딱 맞아서 답이 출력되네요! 왜 그런지 혹시 이유가 있을까요? 사진과 같이 roc로하면 확률이 나오는데 단순하게 pred로 하면 확률이 아닌 0 과1로 출력이 됩니다. 원래 이렇게 나오는건지 궁금하고 문제에서는 roc로 csv를 구하라는건지 궁금합니다. 감사합니다!
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
공부하다가 다른곳에서 본 자룐데 이런식으로 코딩해도 되나요?? 선생님 강의는 import lightgbm as lgb 이렇게 시작하더라구요.. 혹시 같은건가요? 그리고 위사진에서 분류만 존재한다는데 맞는건가요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
import pandas as pd train = pd.read_csv("data/customer_train.csv") test = pd.read_csv("data/customer_test.csv") pd.set_option('display.max_columns',None) # EDA # print(train.shape, test.shape) # print(train.describe(include='O')) # print(test.describe(include='O')) # print(train.isnull().sum()) # 결측치: 환불금액 # print(train.isnull().sum()) # print(train.info()) # print(train.describe(include = 'O')) # print(sorted(list(train['주구매상품'].unique()))) # print(sorted(list(test['주구매상품'].unique()))) a = set(train['주구매상품'].unique()) b = set(test['주구매상품'].unique()) print(a - b) print(b - a) # 데이터 전처리 train['환불금액'] = train['환불금액'].fillna(train['환불금액'].mean()) test['환불금액'] = test['환불금액'].fillna(test['환불금액'].mean()) # print(train.isnull().sum()) # print(test.isnull().sum()) # 원핫인코딩 df = pd.concat([train,test]) df = pd.get_dummies(df) train = df.iloc[:len(train)] test = df.iloc[len(train):] print(train.shape, test.shape) # 검증데이터 분리 from sklearn.model_selection import train_test_split x_tr,x_val,y_tr, y_val = train_test_split(train.drop('성별',axis =1), train['성별'], test_size=0.2, random_state=2022) # print(x_tr.shape,x_val.shape,y_tr.shape, y_val.shape) # 모델 및 평가 from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import roc_auc_score model = RandomForestClassifier(random_state = 2022, max_depth=4, n_estimators=500) model.fit(x_tr, y_tr) pred_proba = model.predict_proba(x_val) print(roc_auc_score(y_val, pred_proba[:,1])) # # 0.6759 # # print(test.shape) # # print(test.isnull().sum()) # 예측 및 제출 pred_proba = model.predict_proba(test) train이 test를 포함할 경우 train + test 를 합쳐서 원핫인코딩을 진행했습니다. 모델 및 평가까지는 에러 없이 진행하였는 데 test 데이터를 예측하는 pred_proba = model.predict_proba(test) 부분에서 아래와 같은 에러가 발생했습니다. 어떤게 문제였는지 궁금하여 질문글 올립니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요! 항상 질문에 친절하게 답변해주셔서 감사드립니다. 작업형 3에서 검정 방법 별 코드는 외웠는데 문제는 이걸 문제에 실제 적용하는게 너무 어려운것 같습니다... 문제에 대응표본검정을 사용하라, 카이제곱 검정을 사용하라 이런말이 없이 그냥 말로 표현해서 검정통계량이나 pvalue 값을 구하라 했을때 어떤 검정을 사용해야될지 구분하기 쉬운 팁같은게 있을까요 ㅠㅠ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
인코딩할때 범주형 변수의 train 과 test 고유값의 수가 train < test train != test 위의 경우일 때 인코딩을 진행하면 무조건 에러가 발생하나요? 고유값의 수가 일치하는지 확인하지 않고 바로 인코딩을 진행하려고 하는데 진행하다가 에러가 발생하면 컨캣을 진행하려고 합니다. object 컬럼이 4개이면 4개다 고유값의 수를 확인해야하는거죠?? set () - set() 이런식으로 빼서 컬럼마다 확인해야하는 방법밖에 없는 걸까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
stats.ttest_rel(df['after'],df['before'],alternative='less' 데이터 순서에 따라 검정통계량이 양수/음수로 바뀌는데 문제에서 검정통계량을 물어보는 경우에는 양수/음수 중에 어떤것으로 답해야 하나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
dir 함수를 사용해서 from statsmodels 뒤에 값들을 찾을 수 있나요? 해도 계속 오류가 나서요 ㅠㅠ from statsmodels.formula.api import ols ols 값을 import 하는 방법이 기억안날까봐 찾을 방법 있으면 알려주심 감사하겠습니다!! logit 모델 사용할 때 object 값 아닌 독립변수 전체를 C () 처리를 하니까 오류가 나던데 전체를 하면 안되는 건가요? 이전에 강의에서 전체를 해도 된다고 했던것 같아서요!!
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
모델 예측 전에 from sklearn.model_selection import train_test_split X_tr,X_val,y_tr,y_val = train_test_split(train, target, test_size=0.2, random_state=0) 검증데이터를 추가 했는데 길이가 맞지 않다는 오류가 났습니다 혹시 이 경우에는 어떻게 해야할까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
제가 파일생성하고 읽었을때 predict_proba[:,1]로 제출할때 2.168991e-05 꼴로 값들이 나오던데 이상태로 제출해도되나요 아니면 보정하고내야되나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2모의문제1을 영상안보고 풀었을때 제가 RandomForestClassifier랑 DecisionTreeClassfier랑 XGBClassifier 다 실행했는데요 전부다 random_state=2022,max_depth=7,n_estimators=200 이렇게 설정했는데 랜덤포레스트랑 XGB 두개는 되는데 DecisionTreeClassfier가 DecisionTreeClassifier.__init__() got an unexpected keyword argument 'n_estimators' 라는 에러가 뜨면서 안되더라고용 의사결정나무는 n_estimators라는 파라미터가 없는건가요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요, 선생님 마지막날이라 그런지 다 확인받고 싶네요.. 질문 많이 남겨 죄송합니다. 작업유형2에서 데이터 전처리시 train, test 컬럼은 삭제 가능, test 행 삭제 불가로 알고 있는데요. 아래 케글 문제 전처리시에는 datetime 컬럼을 dt 연산을 통해 year/month/day로 추가하셨더라고요 그럼 train, test 전처리시 컬럼 추가시키는 건 가능한거죠? ㅇ https://www.kaggle.com/code/agileteam/t2-6-bike-regressor P.S 갠적으로 좋은 문제라고 생각드는게 2유형에서 전처리시 datetime 데이터 핸들링, 1유형에서는 str 연산자 활용 나오지 않을까 추측중입니다 ㅎㅎ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
roc_auc_score은 proba를 쓰는걸로 아는데 아래 코드에 어떤 문제가 있어서 에러가 뜨는지 궁금합니다 에러지점: pred=model.predict_proba(test)
