[섹션5. 평가지표] y_pred
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 섹션5. 평가지표 부분에 질문 있습니다. 강의에서는 clf.predict(X_val) 을 y_pred 값이라고 설명하셨는데 y_ture 와 비교하는 y_pred 값은 clf.predict(y_val) 값이 아닌지 의문이 생겨 질문남깁니다.
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
176만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 섹션5. 평가지표 부분에 질문 있습니다. 강의에서는 clf.predict(X_val) 을 y_pred 값이라고 설명하셨는데 y_ture 와 비교하는 y_pred 값은 clf.predict(y_val) 값이 아닌지 의문이 생겨 질문남깁니다.
미해결
빅데이터 분석기사 시험 실기(Python)
안녕하세요. 먼저, 유익한 강의 제공에 대해 감사의 말씀을 드립니다. 질문. 카테고리되어 있는 데이터들은 더미화 시켰습니다. 하지만 0과 1의 이진수로 더미화 되지 않고 True, False boolean 값으로 더미화가 이루어졌습니다. 이진수로 더미화 하려면 어떻게 수정해야할까요? 더미화 시키면서 에러가 발생했는데.. 강의에서 제공하는 코드와 동일한데 에러가 발생합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
T-test의 검정통계량은 무슨의미인가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
다중회귀분석 강의에서 보면 마지막에 범주형데이터(유형)가 있더라도 ols함수에서는 그냥 그대로 집어넣으면 된다고 하셨었는데 이원분산분석강의에서 ols함수쓸때에는 범주형데이터를 C로 묶어야 한다고 하시는데.. 왜 다른건지 두 차이가 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
강의를 듣다보니 범주형 데이터일 때, Label Encoding을 하는 방법이 2가지가 있더라고요 from sklearn.preprocessing import LabelEncoder astype('category'). cat.codes 2가지 경우가 결과물에 어떻게 영향을 미치게 될까요? 일단 한 문제로 두 방법으로 인한 roc_auc_score를 검증했을 땐, 유의차가 없었습니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
보통 작업형2에서는 예측값을 물어보는 문제가 나오던데요. 문제가 나올때 어느문제는 분류모델을, 어느문제는 회귀모델을 사용해야하는지 궁금합니다. 지금까지 강의+기출문제를 보면서는 분류/회귀를 결정하는 부분이 평가 모델을 통해 진행된다는 느낌을 받았는데요. 1) roc_auc_score, accuracy_score 이 평가모델로 쓰일 경우, 분류형 모델 사용(Classifier) 2) rmse, mean_squared_error 이 평가모델로 쓰일 경우, 회귀모델 사용(Regressor) 이렇게 생각하면서 작업형2를 접근하는게 맞는지 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
# 수치형 데이터와 범주형 데이터 분리 n_train = train.select_dtypes(exclude='object').copy() c_train = train.select_dtypes(include='object').copy() n_test = test.select_dtypes(exclude='object').copy() c_test = test.select_dtypes(include='object').copy() # 수치형 변수 스케일링 (로버스트) from sklearn.preprocessing import RobustScaler scaler = RobustScaler() cols = ['Age', 'AnnualIncome', 'FamilyMembers', 'ChronicDiseases'] display(n_train.head()) n_train[cols] = scaler.fit_transform(n_train[cols]) n_test[cols] = scaler.transform(n_test[cols]) n_train.head() # 범주형 변수 인코딩(원핫 인코딩) display(c_train.head()) c_train = pd.get_dummies(c_train) c_test = pd.get_dummies(c_test) c_train.head() # 분리한 데이터 다시 합침 train = pd.concat([n_train, c_train], axis=1) test = pd.concat([n_test, c_test], axis=1) print(train.shape, test.shape) train.head() 수치형/범주형 데이터 분리를 시행하는데, 무조건 분리 후 시행해야 하는지 질문드립니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. cross_val_score를 사용할 때는 model 학습할 때 그냥 모두 학습시키켜도 될 것 같은데요.. 이때도 나누는게 좋을까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 라벨인코딩 le 선언 관련 질문 라벨 인코딩 시에 le를 for문 밖과 안 모두에서 선언하는 이유가 있을까요? 각 col마다 새로운 le로 학습하고 변환해야하나요? 원핫인코딩 시 아래 동작 여부의 이유가 궁급합니다. pd.get_dummies 함수를 사용할 때 c_train과 c_train[cols]를 넣었을 때 1)은 c_train만 동작하고 2)는 둘 다 동작합니다. 1) 직접 작성 시, cols를 X_train으로 뽑아냈을 때 오류 2) 강의 시, c_train으로 cols 뽑아냈을 때는 동작
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님 혹시 컬럼에 float값이 있으면 무조건 민맥스 스케일링 사용하나요? 3회는 사용 하셨고 6회 풀이에는 넘어가셨길래 궁금합니다! 그리고 마지막에 제출할때 수험번호 안쓰고 (6회 풀이 입니다) 예를 들어 pd.DataFrame({'index':test.index,'y_pred':pred}).to_csv('0000.csv', index=False)요렇게 했는데 submit.to _csv( 'result.csv' , index = False ) 이렇게 제출하는 형식도 있는건가요?
해결됨
빅데이터 클러스터 구축 패키지; 성공을 향한 로드맵
빠짐없이 하나씩 하나씩 가르쳐주시니 저같은 레벨은 계속 반복해서 보면 큰 도움이될 것 같습니다! 강의 나오는 개념중에 HDFS Fedeartion이 여러개 네임스페이스? 네임서비스를 지원하다고 하는데 코드랩에서는 일단 하나만 써서 진행하시는 것 같은데.. 혹시 2개 이상하려고 하면 어떻게 설정해야할까요.. 혹시 빅데이터 직무 면접때 공격으로 나올것같아서요..ㅋㅋ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
(df['bp_post'], df['bp_pre'], alternative = 'less') 선생님 여기서 alternative = 'less'이걸 작성할때 greater랑 구분짓기가 헷갈린데 어떻게 이해를 할 수 있을까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
4회 기출유형 작업형 2에서는 train_test_split을 사용안했는데여기서는 왜 사용하는 걸까요? train_test_split을 사용할때와 안할때가 궁금합니다 원핫인코딩과 라벨인코딩 두개를 =어떨때 써야하는지도 궁금합니다 그리고 Y_tr 에 price를 넣으신 이유가 있으실까요 ps. 매번 친절하게 답변해주셔서 감사합니다
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. 제가 오늘 수험표를 출력해봤는데요. 만약에 수험번호가..007001234이면.. 작업형 2유형 파일생성시.. 파일이름을.. '007001234.csv'로 해야하나요? 아니면 '7001234.csv'로 해야하나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님 이번 오징어 게임 미션을 하면서 작업형 2를 풀고 있습니다 import pandas as pd train = pd.read_csv("../input/big-data-analytics-certification/t2-1-train.csv") test = pd.read_csv("../input/big-data-analytics-certification/t2-1-test.csv") train.head() #pop: 'TravelInsurance' drop:'id' test.head() #pop:'id' train.info() #'Employment Type','GraduateOrNot','FrequentFlyer','EverTravelledAbroad' train.isnull().sum() #'AnnualIncome' 결측값 test.isnull().sum() #'AnnualIncome' 결측값 target = train.pop('TravelInsurance') test_id = test.pop('id') me = train['AnnualIncome'].mean() train = train.fillna(me) me = test['AnnualIncome'].mean() test = test.fillna(me) from sklearn.preprocessing import LabelEncoder encoder = LabelEncoder() train['Employment Type'] = encoder.fit_transform(train['Employment Type']) train['GraduateOrNot'] = encoder.fit_transform(train['GraduateOrNot']) train['FrequentFlyer'] = encoder.fit_transform(train['FrequentFlyer']) train['EverTravelledAbroad'] = encoder.fit_transform(train['EverTravelledAbroad']) test['Employment Type'] = encoder.fit_transform(test['Employment Type']) test['GraduateOrNot'] = encoder.fit_transform(test['GraduateOrNot']) test['FrequentFlyer'] = encoder.fit_transform(test['FrequentFlyer']) test['EverTravelledAbroad'] = encoder.fit_transform(test['EverTravelledAbroad']) from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size=0.2, random_state=0) from sklearn.ensemble import RandomForestClassifier model = RandomForestClassifier(random_state=2022) model.fit(X_tr, y_tr) pred = model.predict_proba(X_val) from sklearn.metrics import roc_auc_score roc_auc_score(y_val, pred[:,1]) 이렇게 코드를 작성했는데 예측하는 단계에서 pred = model.predict_proba(test) 이걸 썼더니 X has 8 features, but RandomForestClassifier is expecting 9 features as input. 이렇게 에러가 뜨는데 뭐가 잘못됐을까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요. 간단한 질문드립니다. 최빈값으로 채울때, m = x_train['a'].mode()[0]에서,,, mode함수 뒤에 [0]의 의미가 이해가 않가네요 [0]가 없어야 할것 같아서 문의 드립니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
이렇게 풀어봤는데, 이렇게 해도 괜찮은가요? 그리고 문제 2번에서 print(sum(df["f3"] == "gold")) 대신 print(len(df["f3"] == "gold")) 으로 하면 안되는 이유가 잘 이해가 안되서 문의드립니다. len()도 데이터 수 구하는 함수 아닌가요? df["f3"] == "gold" 라는 조건을 만족하는 데이터의 수를 구하는데 사용할 수 있을 줄 알았는데, sum() 사용했을 때와 값이 다르게 나와서요. 이 상황에서 두 함수 간 정확히 어떤 차이가 있는지 궁금합니다. 좋은 강의 감사합니다~
해결됨
빅데이터 클러스터 구축 패키지; 성공을 향한 로드맵
제가 강의에서 놓친 부분이 있는지 모르겠지만, 제가 만든 빅데이터 클러스터가 잘 만들었는지 아닌지 궁금할 때가 있는데요 ! 제가 만든 클러스터의 성능평가에 대한 부분은 어떻게 진행해야 하는지 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 선생님 실기 체험 작업형 2문제 관련해서 질문드립니다. 고객의 성별 값에 대한 확률을 구하는 문제인데 여자와 남자중에 어떤 성별의 예측 결과를 구하는지 명시가 안되어 있어서요 이럴 때는 여자인 확률을 구하는건가요 아니면 남자인 확률을 구해줘야 하는건가요? 이때 동안 계속 양성인 1의 확률을 구해왔는데 실제 시험 때도 이렇게 명시가 안되어 있나 해서 질문드립니다. 성별 (0: 여자, 1:남자) predict_proba[:,0] 여자 : 0 predict_proba[:,1] 남자 : 1
미해결
빅데이터 분석기사 시험 실기(Python)
많은 컬럼과 많은 결측치를 가지는 컬럼(ex. 10개)이 많은 데이터에 경우에는 강의에서 나오는 방식으로 하게되면 많이 복잡해지는 거 같습니다. 다른 좋은 방법이 뭐가 있을까요?