문제2주어진 데이터에서 결측치가 30%이상 되는 컬럼을 찾고 해당 컬럼에 결측치가 있는 데이터(행)를 삭제 함.그리고 30% 미만, 20% 이상인 결측치가 있는 컬럼은 최빈값으로 값을 대체하고'f3'컬럼의 'gold' 값을 가진 데이터 수를 출력하세요!문제가 지금 이런 형식인데요.제가 궁금한 것은, 결측치의 크기를 판단하는 판단하는 위치입니다.'f1' 칼럼을 dropna 하게되면 다른 행들도 영향을 받아서 결측치가 들어있는 행도 같이 날라가게 되는데각 칼럼별 결측치의 크기를 판단하는 위치는 모든 작업을 수행하기 전에 하는 것이 맞을까요? <제가 푼 코드># your codeimport pandas as pdimport numpy as nppd.set_option('display.max_columns', None)# file loadfile_path = "/content/drive/MyDrive/Colab Notebooks/빅데이터 분석기사/1. 작업형1/"df = pd.read_csv(file_path+"members.csv")check = []# find na over 30%for col in list(df.columns): check.append(df[col].isnull().sum()/len(df))for col, check in zip(list(df.columns), check): if check >= 0.3: df = df.dropna(subset=col) elif check < 0.3 and check >= 0.2: df[col] = df[col].fillna(df[col].mode()[0])print(len(df[df['f3'] == 'gold'])) <강의에서 알려준 코드># 풀이import pandas as pddf = pd.read_csv("members.csv")# print(df.isnull().sum())# print(len(df) * 0.3)# f1 삭제# f3 최빈값# print(df.shape)df = df.dropna(subset=['f1'])# print(df.shape)# print(df.head())df['f3'] = df['f3'].fillna(df['f3'].mode()[0])# print(df.head())# df.isnull().sum()print(sum(df['f3'] == 'gold'))

statsmodels를 사용한 회귀계수와 logisticregression을 사용한 회귀계수의 값이 다른데..무었을 잘못했는지 잘 모르겠습니다.. 원래 다른건가요?

data_atype.zip(수업노트에서 다운로드) 라고 되어 있는데 수업노트가 어디있나요..? 찾아도 못찾겠어요.맥북 사용하고 있습니다.

안녕하세요! drop을 배워서 쓰고 있는데, drop은 하나씩만 삭제가 가능한가요? 여러개 삭제하려면 어떻게 해야하나요?

>| 이런모양을 찾을 수 없어 결과 파일을 다운받지 못하고 있습니다.

안녕하세요!!다시 복습하는 중입니다...!!강의를 들으면서 궁금한건데 강의에서는 손실함수의 편미분과업데이트시 w0(바이어스)과 w1(기울기,가중치)를 예시로 들면서 설명을 해주셨는데 만약 바이어스를 제외한 w1(기울기, 가중치)의 갯수가 여러개일경우(w2, w3, w4)편미분하는 절차는 어떻게 되나요??w1만 편미분하고 업데이트 하구, w2만 편미분하고 업데이트 하는...방식인지 아니면 w1, w2, w3를 한번에? 편미분 해서 나온 값으로 업데이트 하는것인지 궁금합니다! 좋은 강의 감사합니다^^

안녕하세요 데이터 삭제 부분 강의를 듣고 있는데요,이렇게 부분을 실행시켰을 때 <ipython-input-118-e86e4c646d42>:7: FutureWarning: In a future version of pandas all arguments of DataFrame.drop except for the argument 'labels' will be keyword-only. df=df.drop('new',1) 이런 오류가 나오는데 이유가 무엇일까요?여러번 실행시킨 것은 아니고 최초 실행 시켜도 해당 오류 메시지가 뜹니다! 

강의 회귀 실습 1: 자전거 대여(공유) 수요 예측 -02에서 19분 52초 경에 나오는 선형 회귀의 피처별 회귀계수 시각화 부분에서 저 회귀계수 값들이 다르게 나올 수가 있는지, 질문드립니다. github의 주피터노트북 코드 다운로드 받아서 그대로 시행했는데 LinearRegression/Lasso/Ridge 각 회귀에 대한 RMSLE, RMSE, MAE까지는 값이 정확히 동일하게 나오는데 회귀 계수의 값을 보려고 lr_reg.coef_ 부분에서 결과가 다르게 나옵니다. 상식적으로 회귀 모형에서 이런 결과가 나올 수가 없다고 생각되는데 무슨 이유인지 모르겠어서 질문드립니다! 감사합니다

안녕하세요 선생님 작업형 1문제 풀다가 헷갈리는 부분이 있어서 질문 드립니다.상위, 하위 데이터를 구할 때 1번처럼 '='기호를 써서 포함을 시켜야 하나요 안 시켜야 하나요??# 하위 25% 데이터 1 . df[df['가격'] <= df['가격'].quantile(.25)] 2 . df[df['가격'] < df['가격'].quantile(.25)] # 상위 25% 데이터 1 . df[df['가격'] >= df['가격'].quantile(.75)] 2 . df[df['가격'] > df['가격'].quantile(.75)]문제에서 1행부터 400행 값을 구하라고 할 때 저는 0행이 있으니까 2번처럼 [1:401]으로 생각했는데 [:400]이 맞다고 하더라고요 어떤게 맞는건가요??1. df[:400] 2. df[1:401]

강의 내용에서 궁금한 점이 생겼습니다. 범주형 변수를 따로 처리를 안해주더라도 ols함수는 원핫인코딩을 적용시켜서 알아서 작동한다는 것은 이해를 했습니다. 만약 변수 자체를 LabelEncoder로 value값을 변경시키고 함수에 넣어도 상관 없는지 궁금합니다.

선생님 안녕하세요, 예시문제 작업형 2번 문제 풀다가 궁금한 점이 있어서 질문 남깁니다.train, test 데이터를 describe 함수로 통계내 봤을 때 총 구매액와 최대 구매액에 음수 값이 있어 해당 행은 삭제하려고 합니다. 이 이후로 어떻게 진행해야 할지 몰라서 도움을 구해봅니다 ㅠㅠㅠ

안녕하세요, 선생님. 강의 15분 경에 다음과 같은 코드가 나옵니다만, 저는 분명 동일한 코드를 실행했는데 오류가 떠서 질문드립니다. house_df.fillna(house_df.mean(),inplace = True) TypeError: can only concatenate str (not "int") to str 이 코드가 Null있는 문자형 열까지 포함시켜 처리하기 때문에 오류가 나는 거 같은데, 혹시 원래 정상적으로 실행되는 코드인가요…? 책에 있는 코드도 동일한데 제가 실행시키면 에러가 나서 전 Null 있는 숫자혀여 열에 대해서만 각 열의 평균값으로 결측치를 채워서 실행했습니다.  만약 현재 버젼으로 정상적으로 실행이 되지 않는 코드라면 선생님께서 혹시 이 부분에 대해서만 새로 작성하신 코드를 여쭙고 싶습니다!방금 확인해보니까 jupyter notebook으로는 잘 실행되는데, vscode에서는 위와 같은 오류가 뜹니다. 혹시 이 오류가 뜨는 이유를 알 수 있을까요?

작업형 1 문제 3에서요 조건으로 풀어주셨는데요. sum 대신 len 쓰는 건 말이 안될까요? 일단 답은 틀렸어요,,..한국말로 일대일 대응해서 코드를 적어보면, f3 컬럼에서 '실버'인 행의 갯수를 출력하려면 len을 쓸수 있지 않을까요? 그런데 값이 달라 질문드립니다 ㅠㅠ 

안녕하세요. 사내 구글 드라이브 접속이 불가하여주피터노트북으로 실습 진행 중인데,df.corr() 실행 시 아래와 같은 오류가 발생합니다. 찾아보니 pandas 버전에 따른 오류일 가능성이 있다는 글을 봤는데, 확인 부탁드립니다.

작업형2 에서 심장마비 확률 문제였는데요여기서 데이터 전처리를 할때 X_train.drop('id' , axis =1)X_test.pop('id)' 를 하고 데이터 분리할때 from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train.drop('output', axis=1), train['output'], test_size=0.15, random_state=2022)이렇게 하신다고 했는데 위에서는 id를 드롭하고 분리할대는 'output'을 drop 하는건가요? 그리고 test는 왜 분리 하지 않는지 궁금합니다

작업형 3 구 버전도 공부해야 할까요 ? 아니면 신 버전만 공부 해도 될까요 ?

안녕하세요, 강의 잘 듣고 있습니다! 다름이 아니라 예전에 시험 응시 전략 강의를 듣는데 거기서'특정값 임의 대입 출력하지 말아라' 다 오답 처리 된다 라는 말씀을 하셨거든요. 그 때 이해한 게 만약 pvalue를 출력하고 싶으면 아래에서 b처럼 적지 말고 a처럼 적으라는 건가요? 설령 프린트문을 이용해서 pvalue가 0.00006인걸 확인해도요? result = stats.ttest_rel(df['bp_after'], df['bp_before'], alternative="less") print(round(result.statistic,2)) print(0.00006) 그리고 예시문제 작업형3(구버전) 강의에서 (c)번 문제 내용 중 하나가, 유의수준 0.05하에서 가설검정의 결과를 (채택/기각) 중 하나를 선택하시오. 이건데요, print('기각') 이런 게 안 된..다는거죠? 그 시험 문제에 체크하는 칸이 따로 있는 건가요? 감사합니다!      

검증 데이터 분리 시 타겟하는 컬럼을 왜 빼는지 잘 모르겠습니다!!

분산분석에서 정규성을 만족하지 못하면 kruskal 사용하는 건 알겠습니다 ! 근데 등분산성을 만족하지 못할 때는 어떻게 하나요 ?ttest 처럼 등분산 파라미터가 없는 것 같아서용..

import pandas as pd train = pd.read_csv("train.csv") test = pd.read_csv("test.csv") cols = train.select_dtypes(include = 'object').columns from sklearn.preprocessing import LabelEncoder for col in cols: le = LabelEncoder() train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train.drop('Segmentation', axis=1), train['Segmentation'], test_size=0.1, random_state=2022) from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier() rf.fit(X_tr, y_tr) pred = rf.predict(test) submit=pd.DataFrame({'ID':test["ID"],'Segmentation':pred}).to_csv("003000000.csv", index=False) import pandas as pd train = pd.read_csv('train.csv') test = pd.read_csv('test.csv') n_train = train.select_dtypes(exclude = "object").copy() c_train = train.select_dtypes(include='object').copy() n_test = test.select_dtypes(exclude = "object").copy() c_test = test.select_dtypes(include='object').copy() cols1 = ['Age', 'Work_Experience','Family_Size'] from sklearn.preprocessing import RobustScaler rs = RobustScaler() n_train[cols1] = rs.fit_transform(n_train[cols1]) n_test[cols1] = rs.transform(n_test[cols1]) cols2 = ['Gender','Ever_Married','Graduated','Profession', 'Spending_Score', 'Var_1'] # 라벨 인코딩 from sklearn.preprocessing import LabelEncoder for col in cols2: le = LabelEncoder() c_train[col] = le.fit_transform(c_train[col]) c_test[col] = le.transform(c_test[col]) # 원핫 인코딩 # c_train = pd.get_dummies(c_train, columns = cols2) # c_test = pd.get_dummies(c_test, columns = cols2) # train = pd.concat([n_train, c_train], axis=1) # test = pd.concat([n_test, c_test], axis=1) # from sklearn.model_selection import train_test_split # X_tr, X_val, y_tr, y_val = train_test_split(train.drop('Segmentation', axis=1), train['Segmentation'], test_size=0.1, random_state=2022) from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier() rf.fit(X_tr, y_tr) pred = rf.predict(test) submit=pd.DataFrame({'ID':test["ID"],'Segmentation':pred}).to_csv("002000000.csv", index=False)