173만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
ValueError: array length 2482 does not match index length 3500 제가 안보고 풀어봤는데 이런 에러가 뜨는건 무슨 이유일까요.. 밑에는 제가 작성한 코드입니다. # 5. 평가까지 잘 돌아가다가 # 6. 제출 부분 작성하니깐 갑자기 저런 오류가 뜨네요 ㅠㅠ.. 제 코드 중에 어느 부분이 잘못된 걸까요.. # 2. 전처리 # 2-1. 결측치 처리 # print(X_train.isnull().sum()) X_train['환불금액'] = X_train['환불금액'].fillna(0) X_test['환불금액'] = X_test['환불금액'].fillna(0) # 2-2. object 컬럼 라벨인코딩 from sklearn.preprocessing import LabelEncoder cols = ['주구매상품', '주구매지점'] le = LabelEncoder() for col in cols : X_train[col] = le.fit_transform(X_train[col]) X_test[col] = le.transform(X_test[col]) # 2-3. 불필요한 컬럼 삭제 X_train = X_train.drop(columns = 'cust_id') X_test = X_test.drop(columns = 'cust_id') test_id = y_train.pop('cust_id') # 3. 분리 from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(X_train, y_train['gender'], test_size = 0.2, random_state = 2022) # 4. 학습 from sklearn.ensemble import RandomForestClassifier model = RandomForestClassifier(random_state = 2022) model.fit(X_tr, y_tr) pred = model.predict_proba(X_val) # 5. 평가 from sklearn.metrics import roc_auc_score # print(roc_auc_score(y_val , pred[:, 1])) # 6. 제출 pred = model.predict_proba(X_test) pd.DataFrame({'custid' : test_id, 'gender' : pred[:,1]}).to_csv('00000.csv', index = False) # print(pd.read_csv('00000.csv'))
python 머신러닝 빅데이터 pandas 빅데이터분석기사
김민정
2023-11-26T11:58:06.249Z
댓글 2
좋아요 0
조회수 595
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
수업 9분 53초 부근, stats.wilcoxon(df['무게']-120 까지는 이해했습니다. 뒷부분에 alternative = 'less' 라고 적으셨는데, 왜 양측검정이 아닌 단측검정(낮은쪽)을 진행하는건지 궁금합니다! 대립가설이 '평균 무게는 120g보다 작다'여서 그런건가요?
python 머신러닝 빅데이터 pandas 빅데이터분석기사
znyooon
2023-11-26T11:44:42.850Z
댓글 2
좋아요 0
조회수 553
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요, 선생님 항상 빠른 답변 감사합니다. 다름 아니라 단순선형회귀 분석할때 예측키에 대한 신뢰구간, 예측구간을 구할경우 아래와 같이 DataFrame을 작성하는데 데이터 프레임 안에 딕셔너리 형태로 예측값을 넣을경우 그냥 50이라는 숫자 말고, [50] 대괄호를 쳐야되는 이유가 있을까요? newdata = pd.DataFrame({'몸무게':[50]}) 2유형 마지막 단계에 파일저장할 때처럼 대괄호 없이 '50'이라는 값만 입력해봤는데 당연히 오류 납니다. ValueError: If using all scalar values, you must pass an index
python 머신러닝 빅데이터 pandas 빅데이터분석기사
Jason
2023-11-26T11:42:26.642Z
댓글 1
좋아요 0
조회수 560
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
앞에 대문자 C를 붙여주는 이유가 수치형 데이터로 바꿔주기 위함 아닌가요..?? 그렇다면 비료는 11, 12, 13으로 수치형인데 C를 붙여주는 이유가 궁금합니다..!! 아니면 정확히 모르겠다 싶을때 그냥 상관없이 독립변수들 앞에 전부다 C를 붙여줘도 괜찮은건가요??
python 머신러닝 빅데이터 pandas 빅데이터분석기사
yhd4286
2023-11-26T10:10:20.278Z
댓글 1
좋아요 0
조회수 377
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요! 강의 잘 듣고 있습니다. 많은 도움을 주셔서 진심으로 감사드립니다. 결과 제출을 위한 데이터프레임 생성 시 아래와 같은 오류가 있어 문의 드립니다. 위와 같이 list object is not callable이라는 오류가 뜹니다. X_test['ID'] 또한 동일한 list 형태이나 이는 오류가 뜨지 않습니다. array 형태를 .tolist() 해도 동일 오류가 발생합니다. 답변 부탁드립니다. 감사합니다!
python 머신러닝 빅데이터 pandas 빅데이터분석기사
breakdata00
2023-11-26T10:05:10.845Z
댓글 1
좋아요 0
조회수 223
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
투키와 본페르니가 있는데 본페르니가 더 정확성이 높다고 하셨는데 그렇다면 본페르니만 사용해도 되는거 아닐까요...?? 굳이 투키를 사용하는 이유가 있는지 궁금합니다!
python 머신러닝 빅데이터 pandas 빅데이터분석기사
yhd4286
2023-11-26T09:58:04.404Z
댓글 2
좋아요 0
조회수 399
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요! 이 결과표에서 variable 과 Residual 의 두개의 행이 있는데 검정통계량과 pvalue 값은 7.296 / 0.0006 인건 알겠습니다! 근데 만약 문제에서 자유도랑 잔차제곱합 그리고 평균제곱합을 묻는다면 variable 은 어떤 것의 행이고 Residual 은 어떤 행인지 몰르겠는데 알려주실 수 있을까요? 어떤 행의 값을 답으로 제출해야될지...
python 머신러닝 빅데이터 pandas 빅데이터분석기사
yhd4286
2023-11-26T09:54:11.016Z
댓글 1
좋아요 0
조회수 379
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요, 선생님 tukey 검정 결과를 출력하기 위해 print문으로 변수만 출력하거나 변수에 summary()해서 출력하나 결과값 차이는 없는 거 같은데, 일원분석 강의시에는 summary()로 출력, 이원분석 강의시에는 변수로 출력하셔서 차이점이 있는지 문의드립니다. from statsmodels.stats.multicomp import pairwise_tukeyhsd tukey_result1 = pairwise_tukeyhsd(df['토마토수'], df['종자']) tukey_result2 = pairwise_tukeyhsd(df['토마토수'], df['비료'].astype(str)) print(tukey_result2.summary()) print(tukey_result2)
python 머신러닝 빅데이터 pandas 빅데이터분석기사
Jason
2023-11-26T08:17:58.869Z
댓글 1
좋아요 0
조회수 343
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
train_test_split 혹은 모델 구축할 때 random_state를 사용하는 것으로 배웠는데, 이것도 시험장에서는 써야할까요? 기초적인 질문 죄송합니다 ㅠㅠ 시험이 다가오니 사소한 것도 확인하고 싶네요 ㅠㅠ
python 머신러닝 빅데이터 pandas 빅데이터분석기사
빅분기
2023-11-26T07:56:30.367Z
댓글 1
좋아요 0
조회수 301
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
IndexError: too many indices for array: array is 1-dimensional, but 2 were indexed - 이런 오류가 뜨는데 어떤 문제일까요..? 아래는 제가 풀이한 방식입니다. # 2. 전처리 # 2-1. 불필요한 컬럼 제거 train = train.drop(columns = ['id']) test_id = test.pop('id') # 3. 분리 from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train.drop(columns = 'output'), train['output'], test_size = 0.2, random_state = 2022) # X_tr.shape, X_val.shape, y_tr.shape, y_val.shape # 4. 학습 from sklearn.ensemble import RandomForestClassifier model = RandomForestClassifier(random_state = 2022, max_depth = 5, n_estimators = 400) model.fit (X_tr, y_tr) pred = model.predict(X_val) pred_proba = model.predict_proba(X_val) # 5. 평가 from sklearn.metrics import accuracy_score, roc_auc_score accuracy_score(y_val, pred) roc_auc_score(y_val, pred_proba[:, 1]) # 6. 결과 pred_proba = model.predict(test) pd.DataFrame({'id' : test_id, 'output' : pred_proba[:,1]}).to_csv('00000.csv', index = False) # pd.read _csv('00000.csv') 또한 제가 다른 방법으로 풀었을 때 이렇게 나오는건 왜이런걸까요..
python 머신러닝 빅데이터 pandas 빅데이터분석기사
김민정
2023-11-26T07:47:44.868Z
댓글 1
좋아요 0
조회수 260
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
예전에 문제를 풀 땐 별 생각이 없었는데 다시 보니 Pclass를 꼭 범주형으로 지정할 이유가 있을까요? 클래스가 등급이면 수치형으로 봐도 되지 않을까요? from statsmodels.formula.api import logit model = logit('Survived ~ C(Pclass) + Gender + SibSp + Parch', data=df).fit() model.params['Parch'] 다시 풀어보니 실제 문제에서 저렇게 나온다면 범주형으로 지정해야할지 수치형으로 그대로 둘지 결정하기 애매할 것 같아서 여쭤봅니다.
python 머신러닝 빅데이터 pandas 빅데이터분석기사
몽하
2023-11-26T06:01:45.862Z
댓글 1
좋아요 0
조회수 398
미해결
[핵집] 2025 빅데이터 분석기사(실기)_작업형 1·2·3유형
강사님.. 기출복원 풀이2 중 보험가입여부 예측 문제 풀이에서요.. 마지막 모델 fit에 X_train을 입력하는 것은 좀 이상한데요... X_train의 num_cols 데이터들은 scaling을 하지 않은 값들이어서.. 굳이 전체 X_train로 학습하려면 X_tra와 X_val을 pd.concat으로 합친 후 입력해야 하지 않을까요? 확인 부탁드려요.. 강사님의 예측결과와 제가 계산한 예측결과의 차이가 심해서요.. 예를 들면, 강사님 예측 / 저의 계산 ID 1569 0.03312 / 0.2714 ID 1344 0.02612 / 0.9889 ID 1429 0.03312 / 0.1047 ... 너무 차이가 심해서요.. 이것도 확인 부탁드려요~~~ 수고하시고요.
jinhwan.yu
2023-11-26T04:54:55.960Z
댓글 2
좋아요 0
조회수 255
미해결
Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 버추얼머신 깔 때 확장팩 필수인가요?
vinwoon
2023-11-26T04:41:41.378Z
댓글 1
좋아요 0
조회수 346
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
시험 앞두고 이런 뽀나스 영상이 정말 큰 힘이 됩니다!! ^^ 감사합니다. 작업형 3유형 ...도 필승전략.. 알려주심 너무나 감사하겠습니다. ㅜㅜ 더 많은 것을 원해서 죄송함돠 ㅠ
python 머신러닝 빅데이터 pandas 빅데이터분석기사
paul1142
2023-11-26T04:24:55.251Z
댓글 1
좋아요 0
조회수 357
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
dir 기능 활용 해서 메모장에 담고 ctrl+f 찾아 보니 검색이 됩니다.
python 머신러닝 빅데이터 pandas 빅데이터분석기사
paul1142
2023-11-26T03:37:37.641Z
댓글 1
좋아요 0
조회수 359
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
col_id = ['id'] col_num = ['Age','Work_Experience','Family_Size'] col_cat = ['Gender','Ever_Married','Graduated','Profession','Spending_Score','Var_1'] col_y = ['Segmentation'] from sklearn.preprocessing import StandardScaler scaler = StandardScaler() train[col_num] = scaler.fit_transform(train[col_num]) test[col_num] = scaler.transform(test[col_num]) from sklearn.preprocessing import LabelEncoder le = LabelEncoder() for col in col_cat: train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train[col_cat + col_num], train['Segmentation'], test_size = 0.3, random_state = 123 ) 수업내용을 제가 편한 방식으로 조금 바꿔봤는데 이런 식으로 스케일링이랑 인코딩 진행해도 문제없을까요? 아래 내용으로 계속 진행했을때 결과는 나오는데 제대로 한게 맞는지 잘 모르겠습니다... from sklearn.ensemble import RandomForestClassifier RF = RandomForestClassifier(n_estimators=300, max_depth =9 ,random_state = 123) RF.fit(X_tr, y_tr) pred = RF.predict(X_val) import lightgbm as lgb lgb = lgb.LGBMClassifier(learning_rate = 0.02, n_estimators = 400, max_depth = 5, random_state=123) lgb.fit(X_tr, y_tr) pred = lgb.predict(X_val) from sklearn.metrics import f1_score print(f1_score(y_val, pred, average = 'macro')) pred = RF.predict(test[col_cat + col_num]) pred submit = pd.DataFrame({ 'ID': test.ID, 'Segmentation': pred }) submit.to_csv("result.csv", index=False)
python 머신러닝 빅데이터 pandas 빅데이터분석기사
peter park
2023-11-26T02:00:58.732Z
댓글 1
좋아요 0
조회수 310
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
단순선형회귀 잔차도 역시(model.resid**2).mean() 로 구하면 되나요 ?
python 머신러닝 빅데이터 pandas 빅데이터분석기사
paul1142
2023-11-25T22:23:24.697Z
댓글 1
좋아요 0
조회수 363
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 레이블 인코딩을 사용하면 잘 작동하는데 원핫 인코딩을 사용하면 에러가 뜨네요 혹시 이유가 컬럼갯수가 너무 많아져서 그런거일까요? ValueError: X has 72 features, but DecisionTreeClassifier is expecting 73 features as input.
python 머신러닝 빅데이터 pandas 빅데이터분석기사
윤민성
2023-11-25T18:39:43.620Z
댓글 1
좋아요 0
조회수 469
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
제출하기 전에 출려해 보니 값이 이렇게 나왔는데 이렇게 나와도 괜찮은 걸까요?
python 머신러닝 빅데이터 pandas 빅데이터분석기사
김민정
2023-11-25T16:26:37.617Z
댓글 1
좋아요 0
조회수 214
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
분류에서 roc_auc_score 회귀에서 mse 등 자체적으로 검증데이터 평가 진행 시 각 평가지표 별로 몇점 이상 나와야지 40점 만점 획득 가능할까요?
python 머신러닝 빅데이터 pandas 빅데이터분석기사
little193
2023-11-25T15:53:07.027Z
댓글 1
좋아요 0
조회수 398
