173만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
t3-logit-py # 문제 1-2: 독립변수 income만 사용해 학습한 모델에서 test 데이터의 purchase를 예측하고, 정확도 계산 predictions_income = result_income.predict(test) predicted_classes_income = (predictions_income > 0.5).astype(int) 이 문제에서 왜 prediction_income > 0.5를 하는건가요 ?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
앞의 강의 단일 표본 검정에서의 샤피로 윌크 검정처럼 대립가설을 '정규성을 따른다' 라고 세우려면 어떻게 코드를 짜야할까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요! 회귀 코드를 보던 중 궁금한 점이 생겨 질문 남깁니다. 강의에서는 원핫인코딩 전에 describe(include= 'object')를 통해 train, test의 범주형 데이터 unique 수가 일치하는 것만 확인하고, train/test 병합 작업 없이 원핫 인코딩을 수행했습니다. 제가 실습하는 중에, train/test의 각 unique값을 출력했는데 캡쳐본과 같이 smoker 에서 yes,no의 순서가 바뀌어서 나왔습니다. 이 경우에는 unique값의 종류는 같지만, 병합 없이 각자 인코딩을 할 경우 train 데이터 -> yes:0, no:1 test 데이터 -> no:1, yes:1 와 같이 인코딩되지 않을까 생각이 들었습니다. unique 종류만 일치하면, 순서가 다르더라도 따로 병합하여 인코딩 하지 않아도 되는 것일까요?
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
보니깐 int와 str이 혼합되어서 뜬것 같은데.. cols = X_train.select_dtypes(include = 'object').columns print(list) from sklearn.preprocessing import LabelEncoder cols = X_train.select_dtypes(include = 'object').columns le = LabelEncoder() for col in cols : le = LabelEncoder() X_train[col] = le.fit_transform(X_train[col]) X_test[col] = le.transform(X_test[col]) 그래서 이렇게 cols라는 코드를 사전에 지정해줬는데... 왜 뜰까요? 처음부터 숫자와 str 데이터를 분리해서 인코딩 했어야 할까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형 2에서 예시가 1, 0으로 되어있어도 상관없이 소수점으로 제출해도 되나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
mae 평가 방법은 정상 작동하는 걸 확인했는데, rmse를 제가 잘못 작성한건가요? 아니면 캐글에서는 아직 안되는 걸까요? 만약 작성이 옳은거면 저대로 시험에서도 사용할 예정이고 그렇지 않다면, 함수식을 그냥 외워가야 하나 싶어서요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
17:13 부분 궁금해서 물어봅니다. 이미 pd.concat으로 데이터를 합쳤는데... 학습과 검증데이터를 나눌때 X_train, y_train 나눠서 작업해야 하나요? X_train['Reached.on.Time_Y.N']으로 하면 안되나요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 캐글 필사 전략 강의를 수강하며 캐글에서 타이타닉 문제를 풀어보고 있는 중인데 궁금한 점이 있습니다. 살아남은 여성의 확률을 구할 때 women = train_data.loc[train_ data.Sex == 'female']["Survived"] rate_women = sum(women)/len(women) print("% of women who survived:", rate_women) 이 코드를 작성하는데 여기서 sum(women)의 값과 len(women)의 값이 왜 다른지 궁금합니다. sum의 경우에도 살아남은 여성의 수를 계산하고 len의 경우에도 리스트의 개수를 리턴하기 때문에 동일한 값이라고 생각했습니다. len함수와 sum 함수의 차이가 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 선생님, 회귀문제(ex. RandomForestRegressor)를 풀 때 범주형 변수에 대해 LabelEncoder를 사용해도 되나요? 아니면 pd.get_dummies만 가능한가요?
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
다중회귀와 다중선형회귀 공식이 틀린거죠? 다중회귀 import statsmodels.stats.api as sm 다중선형회귀 from statsmodels.formula. api import ols
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
3유형에서 가장 큰 회귀계수를 구하라 하면 const도 포함인가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
train과 test의 컬럼이 서로 다른경우가 시험에서 발생하는 경우가 잇나요? 이럴때는 train과 test의 교집합에 없는 컬럼들은 제 생각으론 삭제하는것이 어떤 처리방법보다 좋은것 같은데요 (train에만 잇다면 삭제하는게 test에 좋을것이고 test에만잇다면 train이 모델 훈련해도 해당 test컬럼과는 관련이없고) 제 생각이 맞나요? 또한 하나의 공통 컬럼에서 서로 교차하지않는 서로다른 데이터가 존재한다면 라벨이나 원핫인코딩을 진행할때 둘다 반드시 합쳐서 인코딩을 진행하고 분리해야하나요?
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 강의 들으면서 코드 똑같이 타이핑해서 결과값 확인 하는데요 머신러닝 돌리고 나서 정확도, 정밀도 F1 score, roc-auc 같은 결과값이 강의랑 조금 다르게 나오는데 (예를 들어 강의에서는 baseline 이 라벨인코딩보다 정확도가 더 높은데 제가 코드 돌렸을 때는 라벨인코딩이 조금 높게 나온다던지,,) 똑같이 코드를 작성해도 학습했을 때 다르게 나올 수도 있는거죠..? (여러번돌린값X) random_state 나 test_size 도 강의랑 똑같이 설정했는데도요!
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
submit 생성 과정에서 어떤 오류인지 모르겠습니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
target = train.pop('total') target 이때는 () 중괄호를 쓰고 train['total'].describe() 이때는 []쓰는 이유가 뭘까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
roc_auc_score(y_val, pred) 하였는데 ovo, ovr 오류 발생했습니다. 어떤 오류인가요
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
한 가지 방법으로 풀기로 문제를 풀었을 때는 ID 값이 없는데 Pred 값만 제출해도 되는걸까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
Labels in y_true and y_pred should be of the same type. Got y_true=[0 1] and y_pred=['0' '1']. Make sure that the predictions provided by the classifier coincides with the true labels. 이런 문장이 뜨던데 accuracy_score(ans, pred) 중 pred가 numpy.ndarray 배열이 된 것 같거든요.. 잘 따라한 것 같은데 선생님이 한건 바로 accuracy_score를 바로 볼 수 있고, 제거는 못보여 지네요.. pd.DataFrame(pred) 사용해서 해결하긴 했는데,, numpy배열로 바뀐 사유가 궁금합니다. y_train['income'] = y_train['income'].str.replace(">50K", '1') y_train['income'] = y_train['income'].str.replace("<=50K", '0') y_train['income'].astype(int) from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier() rf.fit(X_train[list], target) pred = rf.predict(X_test[list]) submit = pd.DataFrame( { 'id' : X_test['id'], 'income' : pred } ) submit.to_csv("1111.csv", index = False) y_test.head() (y_test['income']=='>50K').astype(int) from sklearn.metrics import accuracy_score y_test = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/main/p2/data_atype_y/y_test.csv") ans = (y_test['income'] == '>50K').astype(int) pred = pred.astype(int) accuracy_score(ans, pred)
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
(y_test['income']=='>50K').astype(int) 로 코딩하면 바로 0 혹은 1의 값으로 바로 변경되던데요. 만약 3개 이상의 target 값이 있을경우 astype(int) 하게되면 0, 1, 2 로 3개가 생기는 걸까요?
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 6회 기출문제 3번을 풀다가 궁금한점이 생겨서 문의 드립니다. 아래와 같은 데이터가 있을 때 '날짜'와 '경찰서 명'은 object 입니다. 위 데이터에서 '강력범죄' 부터 '교통범죄'까지 데이터를 행으로 총합을 구할 시에 아래와 같이 iloc를 설정을 한다고 풀이와 강의에 나와있습니다. df['총범죄건수'] = df.iloc[:, 1 : -1].sum(axis =1) 여기에서 iloc 에서 '-1' 이라고 설정하는 것은 제일 끝 열까지 설정하는 것이 아닌지요? 그러면 '경찰서명'까지 선택이 되어야하는데 로그를 찍어보면 '강력범죄'~'교통범죄'까지 나오는 것을 확인할 수있습니다. 강의에서는 iloc는 0부터 세기 때문에 바로 전까지 값의 열이 선택된다고 알려주셨고, -1로 하면 끝의 열을 나타내는 것이고 -2를 하면 끝열 바로 전 열을 선택하는 것이라고 알려주셔서 알고있습니다. 그런데 위에 데이터에서는 왜 -1을 해도 '경찰서명'까지가 안나오는 것인지 문의드립니다.
