묻고 답해요
167만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
독립성 검정 관련 질문
독립성검정 관련하여 코랩에서는 선생님이 하신대로 문제없이 실행되었습니다.그런데, 시험환경 체험하기에서 실행을 하다 보니 코랩에서 처럼 결과값(Chi2ContingencyResult(statistic=0.5552884615384607, pvalue=0.4561648467028253, dof=1, expected_freq=array([[47.14285714, 62.85714286], [27.85714286, 37.14285714]]))이 안나오고결과값들이 어떤 값인지 표시가 없는 상태((0.5552884615384607, 0.4561648467028253, 1, array([[47.14285714, 62.85714286], [27.85714286, 37.14285714]])) 로 나왔습니다.이렇게 나오는 이유와 개선 방법인 있는지요?하단에 시험환경에 코딩한 결과입니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
데이터 전처리 IQR 이렇게 해도 되나요?
cols = list(X_train.columns[X_train.dtypes != object]) cols for col in cols: Q1 = X_train[col].quantile(.25) Q3 = X_train[col].quantile(.75) IQR = Q3-Q1 min_iqr = Q1 - 1.5*IQR max_iqr = Q3 + 1.5*IQR cnt_before = sum((X_train[col] < min_iqr) | (X_train[col] > max_iqr)) # (X_train[col] < min_iqr) | (X_train[col] > max_iqr), 주어진 조건 둘 중 하나라도 만족, 이상치를 나타내는 값을 선택하는 조건 print(f'{col}의 이상치 처리 전 이상치 개수: {cnt_before}개 입니다.') # f 접두사를 사용하여 문자열 안에서 중괄호 {} 안에 변수나 표현식을 넣을 수 있음 X_train = X_train[(X_train[col] >= min_iqr) & (X_train[col] <= max_iqr)] # (X_train[col] >= min_iqr) & (X_train[col] <= max_iqr), 주어진 조건 둘 다 만족, 이상치를 제외한 정상 범위의 데이터를 선택하는 조건 cnt_after = sum((X_train[col] < min_iqr) | (X_train[col] > max_iqr)) print(f'{col}의 이상치 처리 후 이상치 개수: {cnt_after}개 입니다.')
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
예시문제 작업형2
데이터 전처리할 때 왜 id를 삭제하나요?학습할 때 필요할 지테스트의 id값이 최종적으로 필요할 지 어떻게 아나요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
스케일링
안녕하세요. 자료에 따라 스케일링을 다르게 쓰시는 것 같은데요.일단 실기시험을 준비하는 입장에서는 어느 경우에 스탠다드, 민맥스, 로버스트 등을 쓰는지 잘 이해가 가지 않네요. 강사님게서 쓰시니까 그런가보다,, 하고 쓰긴 하는데 시험에서는 민맥스 스케일링 하나만 이해하고 사용해도 문제가 없을까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
[예시문제 작업형2] EDA 중 이상치 처리
안녕하세요.강의 잘 듣고 있습니다.예시문제 작업형2 풀면서X_train.describe() 기초통계량 볼 때(3:56)총 구매액, 최대 구매액의 최소값이 음수여서...이상치로 판단하고 금액이 <0인 행은 drop..처리하고 했는데 괜찮은 걸까요?괜찮다면 결측치처리를 X_train, y_train 동시에 해주는 것처럼 결측치도 두 데이터에 모두 해줘야하는거죠?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
from scipy import stats 와 import scipy.stats as stats
from scipy import stats 와 import scipy.stats as stats 차이가 있나요?어떨땐 전자로 어떨땐 후자로 코딩이 되어 있는데차이가 있나 궁금합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
회귀 실습 중 rmse 결과값 질문
안녕하세요 선생님현재 모델링 및 평가(회귀)부분을 학습하고 있습니다.코드를 따라가면서 실습을 진행하고 있는데, rmse 값이 선생님과 달라 질문 드립니다.제가 알기로는 모델링을 하는 과정에서 예측한 값이 달라질 수 있고, 이에 따라 평가지표인 rmse 값이 다를 수 있다...라고 알고 있습니다.그런데 값의 차이 뿐만이 아니라 baseline과 scaler 적용 결과가 좋은지 나쁜지가 달라 질문드립니다.예를 들어, 선생님께서 하셨을때는 RandomForestRegressor의 baseline이 rmse값이 가장 좋았고(작았고), scaler를 적용했을 때 rmse가 커져서 scaler 적용은 하지 않는게 좋다~라는 내용의 실습이었는데제가 했을 때는 baseline의 rmse보다 scaler를 적용했을 때의 rmse가 작아 scaler를 적용하는 것이 좋다..는 결론이 나옵니다. 질문을 정리하자면,모델링을 하는 과정에서 선생님과 제가 실습한 예측값과 rmse가 다른게 맞는지다른게 맞다 해도 scaler 적용여부 등을 바꿀 수 있을 정도로 예측값과 rmse가 달라질 수 있는지(추가질문)달라지더라도 선생님 실습값 : 4728.xx 제 실습값 6025.174022213681 이정도로 달라질 수 있는지...(추가질문) 모델링 및 평가(회귀) 24:56에서 수험자는 알 수 없는 영역>y_test로 rmse로 구하시고 결과값이 17909.xx로 나왔는데 여기에서도 charges에 로그변환 한 이후기 떄문에 원래는 np.exp(pred)로 rmse를 구했어야 하는지일 것 같습니다. 감사합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
원핫 인코딩할 때 코드
안녕하세요.강의 잘 듣고 있습니다.모델링 및 평가(회귀) 강의 + 5회 실기 기출유형 문제풀이 유튜브를 보는데 train = pd.get_dummies(train, colmns=cols) ->강의train =pd.get_dummies(train) ->유튜브 이렇게 작성하시더라구요.결과는 같던데.... 둘 중 아무거나 써도 될까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
Concat 문의
선생님 안녕하세요? 우선 좋은 강의 감사드립니다 ㅎㅎ 6.24 시험을 위해 막 듣기 시작했습니다 ㅎㅎ오늘 강의 중 concat 개념이 나왔는데,df = pd.concat([x_train, y_train[‘income’], axis = 1) 로 합치는 것 예시가 있었습니다. 여기서 궁금한 게 id 기준으로 합쳐야 할텐데, x_train의 id 컬럼과 y_train의 id 컬럼이 같은 것끼리 연결하라는 말이 없어서, 그냥 자동으로 id에 따라 연결해주는건지 궁금합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
원핫 인코딩 후 분리
안녕하세요섹션3. 피처 엔지니어링원핫인코딩 후 iloc를 통해 train과 test를 분리할 때line = int(X_train.shape[0]) 이 부분이 이해가 안 가요왜 [0]이 train의 마지막 행을 의미하는 것인가요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
코랩에 데이터 업로드
안녕하세요? 수업 잘 듣고 있습니다.매번 강의 시작할 때 .csv 데이터 파일을 코랩에 업로드하고 코드 실행하면서 강의를 듣고 있는데요, 용량이 상대적으로 큰 train 데이터 업로드가 계속 실패하는데, 혹시 해당 코랩 강의 파일 열고 데이터 넣는 방식 말고 다른 방식으로 .csv 파일들 업로드하는 방법이 있을까요?일시적인 오류이면 좋겠습니다만..
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
데이터 전처리 강의 이상치 처리 질문
# age가 음수인 데이터 X_train[X_train['age']<=0]# age가 1이상인 데이터만 살림 print(X_train.shape) X_train = X_train[X_train['age']>0] print(X_train.shape) 이런식으로 밖에 X_train 대괄호로 전체를 한번 더 묶어주는 것은 어떤 의미가 있나요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
모델링 및 평가(분류) 11:07
submit = pd.DataFrame({ 'income': pred })문제가 성인 인구 조사 소득 예측(분류문제) 인데 submit = pd.DataFrame( { 'id':X_test['id'], 'income':pred } )2번처럼 id를 꼭 적어줘야 하나요? income만 적으면 안되나요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형 3 답안 제출 관련
안녕하세요 강사님!예시문제 중 작업형 3유형의 4번문제가 아래와 같이 나와 있고,풀이를 해보면 검정통계량은 -3.34, p-value는 0.0006이 나와서예시 문제에서 요구하는 유의수준 0.05 이하 이므로 귀무가설을 기각 / 대립가설 채택 하는 결과가 나오는데, 귀무가설 기준으로 답을 적어야 하는지, 아니면 대립가설을 기준으로 답안을 적어야 하는지 궁금하여 문의드립니다. (귀무가설 기준으로는 답이 기각이고, 대립가설은 답이 채택)
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
질문있습니다.
라벨 인코더 실행할 때나, 스케일러 실행할 때,X_train 에서는 fit_transform 함수를 사용하고X_test 에서는 transform 함수를 사용하는데,무슨 차이가 있는지 궁금합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형1 모의문제2 문제5번 데이터의 수
작업형1 모의문제2 문제5번 데이터의 수를 구하면sum함수가 아닌, len함수를 사용해야하는 것아닌지 궁금합니다.실제 시험에서 데이터수를 구할 때 len을 써야할지 sum을 써야할지 구분 기준 질문드립니다..!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
3회 기출유형(작업형2) 5:16초 수치형 변수 스케일링
3회 기출유형(작업형2) 수치형 변수 스케일링 RobustScaler에 대한 강의 내용은 없어서, 혹시 민맥스나 스탠다드로 스케일링한 코드 공유가 가능할까요 ? 민맥스로 혼자 돌려보려고 30분째 씨름하는데도 에러가 떠서 질문드립니다 !
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
roc_auc_score 코드에서 에러 발생해요..
안녕하세요. 모델링 및 평가(분류) 강의에서 마지막 부분에 roc_auc_score 넣어주는 부분에서 자꾸 에러가 발생합니다.에러는 아래와 같이 뜨는데요, 어떤 부분에서 잘못됐는지 알려주세요.."IndexError: index 1 is out of bounds for axis 1 with size 1"감사합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형 유형 2 전처리할 떄 id 삭제하는 이유가 뭔지 궁금합니다.
작업형 유형 2 전처리할 떄 id 삭제하는 이유가 뭔지 궁금합니다.# id 삭제함 (단 test의 id값은 csv파일을 생성할 때 필요함으로 옮겨 놓음) X_train=X_train.drop(['cust_id'], axis=1) cust_id=X_test.pop('cust_id')만약 id값을 삭제하지 않고 실행해도 문제가 없을까요?실제 시험에서 어떤 값을 삭제하고 test에서 pop해야하는 지 판단 기준이 궁금합니다..!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2 결측치 처리 기준
작업형2 모의문제2에서결측치를 컬럼을 삭제하는데 결측치 컬럼을 삭제하는 기준이 있을까요?언제 결측치를 채워야하고 삭제해야하는지 잘 모르겠습니다.