빅데이터 분석기사 시험 실기(Python)대시보드

RandomForestClassifier만 적용하여 앙상블 학습하였을때 ROC_AUC_SCORE가 1.0이 나오는데,, 연습문제 동영상과 같이 0.84.... 가 나오지 않고 1.0이 나오는 이유가 뭘까요 혹시 과적합이라면 오답이라고 할 수 있을까요? 전체 소스 공유합니다. import seaborn as sns import pandas as pd from sklearn.model_selection import train_test_split from sklearn.preprocessing import MinMaxScaler from sklearn.ensemble import RandomForestClassifier df = sns.load_dataset('titanic') # 결측치 제거 df['age'] = df['age'].fillna(df.age.mean()) df['deck'] = df.deck.fillna(method='bfill') df['deck'] = df.deck.fillna(method='ffill') df['embarked'] = df.embarked.fillna('S') df['embark_town'] = df.embark_town.fillna('Southampton') df.isna().sum() from sklearn.preprocessing import LabelEncoder obj = ['sex', 'embarked', 'class', 'who', 'adult_male', 'deck', 'embark_town', 'alone'] encoder = LabelEncoder() for i in obj: df[i] = encoder.fit_transform(df[i]) category = ['pclass', 'sex', 'class', 'who', 'adult_male', 'alone'] for i in category: df[i] = df[i].astype('category') df = pd.get_dummies(df) scaler = MinMaxScaler() lst = ['age', 'fare'] scaler.fit(df[lst]) df[lst] = scaler.fit_transform(df[lst]) y = df['survived'] X_train, X_test, y_train, y_test = train_test_split(df, y, test_size=0.3, stratify=y, random_state=23) ml = RandomForestClassifier() ml.fit(X_train, y_train) pred = pd.DataFrame(ml.predict_proba(X_test)) from sklearn.metrics import accuracy_score, roc_auc_score print(roc_auc_score(y_test, pred.iloc[:, 1]))

더미화를 해주는데 라벨인코딩을 같이하는 이유가 무엇인가요?

 안녕하세요. 먼저, 유익한 강의 제공에 대해 감사의 말씀을 드립니다. 질문.카테고리되어 있는 데이터들은 더미화 시켰습니다.하지만 0과 1의 이진수로 더미화 되지 않고True, False boolean 값으로 더미화가 이루어졌습니다. 이진수로 더미화 하려면 어떻게 수정해야할까요? 더미화 시키면서 에러가 발생했는데..강의에서 제공하는 코드와 동일한데 에러가 발생합니다.

많은 컬럼과 많은 결측치를 가지는 컬럼(ex. 10개)이 많은 데이터에 경우에는 강의에서 나오는 방식으로 하게되면 많이 복잡해지는 거 같습니다. 다른 좋은 방법이 뭐가 있을까요?

Dataset은 어디서 받을 수 있나요?

데이터 셋 중 'mpg'는 파일이 어디에 있나요? 다른건 검색하면 깃헙에 나오던데

교육영상 4강. 작업유형1-문제(1)에 대한 코드는 어디서 받을 수 있나요? car_crashes라는 dataset을 불러오도록 코드가 짜져있는데 해당 샘플파일은 어디서 받을 수 있는건지요..?

1번에서 "(치료 후 혈압-치료 전 혈압)의 평균" 이기 때문에강의에 설명해 주신 a['bp_after'].mean() 이 아니고(a['bp_after']-a['bp_before']).mean().round(2) 여야 맞지 않나 싶은데...맞을까요..?1번부터 답이 틀리면 2,3,4 가 모두 틀릴 거 같아서요!궁금합니다. 

매 강의 초반에 나오는 화면자료는 강의에 따로 안올려주신거죠?

밑줄 부분이 계속 나오고 그 다음이 안넘어가집니다. 저장하고 해도 소용이 없네요 ㅠㅠ 어떻게 해결할 수 있을까요??

from sklearn.preprocessing import LabelEncoder label=['species','island','sex'] enc=LabelEncoder() df[label]=df[label].apply(enc.fit_transform) #df[label]=enc.fit_transform(df[label]) LabelEncoder 단계에서 apply 함수를 활용해서 fit_transform을 적용해야하는 이유는 무엇인가요?아래 #처리된 구문처럼 적용하니 에러가 뜹니다

마지막 전처리 전후의 표준편차값을 출력할때 제가 혼자 했을때는print(df['distance'].std())print(df_af['distance'].std())로 하였는데 출력결과275.2191532793011267.2360034486679이와 같이 나왔습니다.강의에서 나온바와 같이print(np.std(df['distance']))print(np.std(df_af['distance']))넘파이를 활용하여 계산하였는데 결과는 강의와 동일하게275.0161144074897267.05138442597666 이와 같이 나왔습니다1) 넘파이 라이브러리를 사용한 것과 안한 것의 차이가 나타나는 이유는 무엇인가요?2) 작업유형1 의 경우, 출력결과는 정수형으로 나타내야 하는것으로 알고 있습니다. 두가지 경우, int함수를 사용하면 결과값이 같게 나오는데 이경우에도 풀이는 다르지만 결과 출력값만 동일하면 정답으로 인정되나요?

7강 코드를 replit에 따라쳐보고 있는데요ㅠㅠ 두가지 질문이 있습니다1) get_dummies 관련 강의에서 선생님께서는 get_dummies에서 df 만 인자로 넣으셨는데저는 그렇게 하니까 숫자처럼 보이는 컬럼도 원핫인코딩이 되어버립니다. dtypes 해보면 object 로 나옵니다 그래서 columns = ['island','sex'] 를 넣어야 하는건지 궁금합니다 이것만 넣으면 될까요? 저는 df만 넣으면 왜 결과가 다른지도 궁금합니다  2) 그리고 이어서 qcut 관련 질문인데요df['body_mass_g_qcut'] = pd.qcut(df['body_mass_g'],q=5,labels=False) 에서 계속해서 에러가 납니다. TypeError: ufunc 'isnan' not supported for the input types, and the inputs could not be safely coerced to any supported types according to the casting rule "safe" 똑같이 따라친것 같은데 에러가 나는 이유를 잘 모르겠습니다. 혹시 조언주실 수 있을까요..?  

주구매지점 카테고리화 할때 for문을 써야하는 이유가 있나요??? for문 안쓰고 하기와 같이 했을때 문제되는게 있는지요?X_train['주구매지점'] = X_train['주구매지점'].astype('category')X_test['주구매지점'] = X_test['주구매지점'].astype('category') 연습문제1 결측치 처리할때도 마찬가지 인데 missing = ['age']for i in missing: X_train[i] = X_train[i].fillna(X_train[i].mean()) X_test[i] = X_test[i].fillna(X_train[i].mean())이거도 for문 안쓰고X_train['age'] =X_train['age'].fillna(X_train['age'].mean())X_test['age'] = X_test['age'].fillna(X_train['age'].mean()) 이렇게 했을때 문제되는게 있나요? 실행해보면 결측치 갯수 0으로 정상적으로 처리된거 같은데왜 for문을 사용하였는지 문의드립니다.

안녕하세요 선생님~유튜브로 강의 수강한 학생입니다.인프런에 강의 수록되어있는 것 확인 후 문의글 남깁니다.선생님께서 알려주신대로 코드 작성하면서 궁금했던 점 3가지가 있습니다.빅데이터분석기사 실기 응시할때, 더미생성하고 파생변수생성 후에, 기존 변수칼럼은 삭제를 안해도 되는지 궁금합니다.MinMaxScaler로 스케일링 작업시에 모든 칼럼의 변수가 1과 0 사이가 아니어도 크게 문제가 되지않나요? 모든 컬럼의 수치를 모두 0과 1사이의 값을 가질수 있게 0과 1사이의 값을 갖고 있지않은 나머지 컬럼 모두 스케일링 해야하는 것인지 궁금합니다. 예를 들면, 파생변수 생성으로 만든 컬럼 등의 데이터도 모두 스케일링 해야하는지 궁금해요. 모델학습시에 pred1 = pd.DataFrame(model1.predict(X_valid)) 로 데이터프레임을 감싸지않고,pred1 = model1.predict(X_valid)로 코드입력해도 결과값이 나오던데 상관없을까요??바쁘시겠지만 답변부탁드립니다.감사합니다.

안녕하세요. 빅분기 실기 준비 중인 수강생입니다.먼저 감사하다는 말씀 드립니다. 많은 도움이 되고 있습니다.수강 중에 궁금한 사항이 있어 질문 드립니다.10강. 연습문제 풀이에서 먼저 X_train, X_test 데이터셋으로 분리한 후 전처리 과정을 두 데이터셋에 동일하게 수행하는 데, 전처리 과정을 모두 마친 후에 분리하는 것과 어떤 차이가 있는 지 궁금합니다.감사합니다.

5강의 작업형1-2문제에서 len = int(len(df)*0.7) 를 실행했을때 다음과 같은 오류가 발생합니다. 'int' object is not callable 왜이런지 아시나요 ㅠ

10강 연습문제1에서구름 IDE에 코드 복사해서 똑같이 실행했는데 실행화면에 아무것도 안뜨는데 왜그럴까요..ㅠㅠ

안녕하세요. 금번 강의영상을 제작함에 있어 일부 코드 오기가 있어 알려드립니다. 훈련용(train) 데이터와 테스트(test) 데이터가 분리되어 있는 상태에서 데이터 전처리(라벨인코딩, 스케일, 파생변수 등)을 처리할 경우 일부 오류가 발생합니다. 따라서 정확히 하려면 훈련용과 테스트 데이터를 합쳐서 일괄적으로 전처리를 적용하고 다시 데이터 셋을 분리하는 것이 맞습니다. 해당 부분과 최신 기출문제 등을 감안하여 7월내로 보완하도록 하겠습니다. 아래 라벨인코더 질문과 답변을 보시면 일부 이해하실 수 있습니다.  감사합니다. :)

안녕하세요. 선생님! 먼저, 좋은 강의로 시험 준비를 잘 할 수 있게 해주셔서 진심으로 감사합니다. 라벨인코더 관련 문의입니다. 우선 저는 비전공자로,  나와 있는 자료들로 공부를 하다보니, 아래의 질문이 엉망일 수도 있을 것 같아서 염려가 됩니다만, 아직 공부해나가는 중인 비전공자의 질문이라는 점을 너그럽게 이해해주시고, 답변 가능하시다면 부탁드립니다! from sklearn.preprocessing import LabelEncoder label = ['sex', 'embarked', 'class', 'who', 'adult_male', 'deck', 'embark_town', 'alone'] X_train[label] = X_train[label].apply(LabelEncoder().fit_transform) X_test[label] = X_test[label].apply(LabelEncoder().fit_transform)   (1) test에도 fit을 하는 것이 맞는지 문의드립니다. (2) fit을 빼면 오류코드가 뜨는데, 어떻게 수정할 수 있을까요? (3) 해당 코드 외에, 라벨 인코더를 적용할 수 있는, 비전공자 수준에서 따라갈 수 있는 다른 코드가 있다면 공유가 가능하실까요?   관련해서 답변이 가능하시다면 부탁드리겠습니다! 덕분에 시험 준비를 잘 하고 있습니다. 다시한 번 감사드립니다!