inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

묻고 답해요

176만명의 커뮤니티!! 함께 토론해봐요.

3회 기출문제 작업형2

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요! 강의 듣던 중 질문이 생겨 글남깁니다. 2회 기출문제 작업형2 강의와는 다르게 왜 데이터 전처리 과정에서 수치형데이터와 범주형데이터를 분리 하나요? 왜 2회 기출문제 과정에서는 필요가없는걸까요? ㅠㅠ # 수치형 데이터와 범주형 데이터 분리 n_train = train.select _dtypes(exclude='object').copy() c_train = train.select _dtypes(include='object').copy() n_test = test.select _dtypes(exclude='object').copy() c_test = test.select _dtypes(include='object').copy() (↑이 과정에 대한 질문입니다!) 어쩔때 robustscaler를 쓰고, minmaxscaler를 쓰고.. 스케일 방법이 다양한데 어떻게 선택하는건가요? 검증데이터 분리할떄 test_size 설정기준 은 무엇인가요? 0.1로할떄도 있고 0.2로 할떄도 있으신데 어떻게 선정하시는건가요? 위와 마찬가지로 검증데이터 분리과정에서 random_state = 1204 를 설정하는 이유 가 이해가 잘 안갑니다 ㅠ 저것의 의미가 무엇이고 숫자는 왜 1204인건가요?? (3,4번 질문은 이 코드에서의 질문입니다! from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train.drop('TravelInsurance', axis=1), train['TravelInsurance'], test_size=0.1, random_state=1204) X_tr.shape, X_val.shape, y_tr.shape, y_val.shape)

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
ji_nhee 댓글 2 좋아요 0 조회수 459

빅분기 실기 제2문형에 관한 질문

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

✨빅분기 실기 너무 준비할께 많네요. TT 실기 2유형에 같은 경우 모델을 정하고 데이터모형 평가 성능을 높이기 위한 하이퍼 파라미터 튜닝 절차 를 반드시 거쳐야 하는지 여쭤봅니다.

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
윈벅스 댓글 1 좋아요 1 조회수 726

영상처럼 해보는데 JAVA부분이 안보여요

미해결

15일간의 빅데이터 파일럿 프로젝트

영상처럼 호스트 이름을 입력하면 아래에 체크박스가 체크할수 없게 되어있고 그전 영상처럼 현재 관리되는 호스트를 클릭하면 JDK나 SSH 로그인 정보를 제공합니다. 라는 구간이 스킵이 되는데 현재 관리되는 호스트로 진행해도 아무 문제 없을까요?

  • 빅데이터
  • hadoop
  • kafka
  • zookeeper
  • redis
  • flume
  • impala
  • 데이터-엔지니어링
thejitae 댓글 1 좋아요 0 조회수 428

맨 마지막 p3에서 2,482명이 나와야 되는거 아닌가요???

미해결

빅데이터분석기사 실기대비 (R 활용)

맨 마지막 p3 <- (p1+p2) / 2 에서 str(p3)해보면 2,482행이 나와야 하는거아닌가요? 871 obs of 2 variables라고 나와서요...

  • 빅데이터
sunghee4533 댓글 3 좋아요 0 조회수 637

"모의고사2" 질문

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

선생님!! 궁금한 점을 질문드리면 항상 빠른 답변 드리시는 점에 감사드립니다. "모의고사2" 관련하여 궁금한점을 질문드립니다. 평가지표가 f1 인데, f1도 점수가 높은 경우 성능이 좋은건가요? 만약 하이퍼파라미터 투닝을 할 경우 f1 점수가 높게 나오는 것으로 test 데이터를 에측해서 csv 화일을 작성해야 하는 건지요? '모의고사2'를 시험환경에서 연습하는데, 랜덤포레스트는 큰 문제 없이 진행되었는데, xgboost 모델로 할 경우 진행이 안되고 에러가 발생합니다. 이유가 무엇이고 어떻게 수정해야 하는지요?

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
ycann 댓글 2 좋아요 0 조회수 450

분류 모델 평가 관련

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요 빠른 답변 주셔서 공부에 많은 도움이 되고 있어 감사드립니다. roc_auc_score 평가 시에만 accuracy, precision, recall, f1 과 다르게 predict_proba를 사용하는 이유 궁금합니다

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
greyy 댓글 1 좋아요 0 조회수 349

고사양 VM3 수업자료는 어디까지 설치되어 있는 상태인가요?

미해결

15일간의 빅데이터 파일럿 프로젝트

저사양 자료를 받아서 Cluster 1 구성을 하다가 지우고 고사양 자료를 받아서 Cloudera의 클러스터를 구성하려고 보니 이미 Cluster 1이 존재한다고 해서 server01.hadoop.com/cmf 에 접속해 봤더니 컴포넌트들까지 Cluster 1이른 이름으로 모두 설치되어 있는 것처럼 보입니다. 고사양 자료를 받은 경우 어디서부터 제가 직접 수업을 들으며 따라 해야 할 지 모르겠습니다.

  • 빅데이터
  • hadoop
  • kafka
  • zookeeper
  • redis
  • flume
  • impala
  • 데이터-엔지니어링
thejitae 댓글 1 좋아요 0 조회수 502

[시험환경에 적응하기:작업형2] 'DataConversionWarning'이유 알려주세요

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

작업형2를 아래와 같이 했는데 DataConversionWarning 나왔습니다 검색해보니 y_train 변경때문이며 ravel()을 사용하라고 하는데 이유 설명 부탁 드립니다 [error명] DataConversionWarning: A column-vector y was passed when a 1d array was expected. Please change the shape of y to (n_samples,), for example using ravel(). [작성내용] import pandas as pd X_test = pd.read _csv("data/X_test.csv") X_train = pd.read _csv("data/X_train.csv") y_train = pd.read _csv("data/y_train.csv") pd.set_option('display.max_columns',None) # 사용자 코딩 #print(X_train.shape,X_test.shape,y_train.shape) #print(y_train.isnull().sum()) #print(X_train['환불금액'].describe()) X_train['환불금액']=X_train['환불금액'].fillna(X_train['환불금액'].mean()) X_test['환불금액']=X_test['환불금액'].fillna(X_train['환불금액'].mean()) #print(X_train.isnull().sum()) X_train=X_train.drop('cust_id',axis=1) X_test_id=X_test.pop('cust_id') y_train=y_train.drop('cust_id',axis=1) #print(X_test.head(2)) #print(X_train.select_dtypes(exclude='object').columns) # '주구매상품', '주구매지점' # '총구매액', '최대구매액', '환불금액', '내점일수', '내점당구매건수', '주말방문비율', '구매주기' from sklearn.preprocessing import LabelEncoder cols=['주구매상품', '주구매지점'] for col in cols: le=LabelEncoder() X_train[col]= le.fit _transform(X_train[col]) X_test[col]=le.transform(X_test[col]) #print(X_train.head()) from sklearn.preprocessing import MinMaxScaler cols2=['총구매액', '최대구매액', '환불금액', '내점일수', '내점당구매건수', '주말방문비율', '구매주기'] scaler=MinMaxScaler() X_train[cols2]= scaler.fit _transform(X_train[cols2]) X_test[cols2]=scaler.transform(X_test[cols2]) #print(X_train.head(2)) from sklearn.model_selection import train_test_split X_tr,X_val,y_tr,y_val=train_test_split(X_train,y_train, test_size=0.3, random_state=2023) #print(X_tr.shape,X_val.shape,y_tr.shape,y_val.shape) #(2450, 9) (1050, 9) (2450, 1) (1050, 1) from sklearn.metrics import roc_auc_score from sklearn.ensemble import RandomForestClassifier rf=RandomForestClassifier(random_state=2023) rf.fit (X_tr,y_tr) pred=rf.predict_proba(X_val) print(roc_auc_score(y_val,pred[:,1])) #0.654227735236709

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
shinheesung1 댓글 1 좋아요 0 조회수 850

빅데이터 분석기사 (2회): 기출유형-작업형2 질문

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요 강사님 해당 강의를 듣던 도중 질문이 있어서 글 남깁니다. 라벨 인코딩 부분에서 cols = X_train.select_dtypes(include='object').columns 으로 표현하였는데 시험장에서는 그냥 info()를 통해 데이터타입 확인이후 object에 해당하는 컬럼들만 직접 수기로 입력해도 되나요? ex) cols = ['Warehouse_block', 'Mode_of_Shipment', 'Product_importance', 'Gender'] 라벨인코딩을 해야될때와 원핫인코딩을 해야될때 상황판단을 어떻게 하는지 궁금합니다. 그냥 매번 라벨인코딩만해도 무방할까요? 검증 데이터 분리시 test_size를 때에따라 0.1이나 0.2나 매번 바뀌는데 시험장에서는 성능이 더 좋은 test_size를 판단하기 위해 숫자를 바꿔가며 시도해봐야하나요? 그게 아니라면 그냥 test_size와 random_state는 0.1과 2023으로 해도 무방할지요 해당 강의와 마찬가지로 모델값들은 전부 같은 값이 나오는데 (0.7084055061812334, 0.6321275746145835, 0.7279225281811363, 0.7370938759652275) 이를 이용해 예측 및 제출에서 pred를 형성하면 array안의 확률값이 다르게 나옵니다. 이유가 있을까요? 강의에서 score가 0.7정도면 괜찮은 성능이라고 하셨는데요. 시험장에서 채점기준에서 만점과 부분점수를 맞는 기준이 성능차이인가요? 만약 성능을 내지 못하고 전처리까지만 하고 csv파일을 만들지 않았다면 이는 부분점수도 못받는걸까요?? 한 질문에 여러가지 질문을 해서 죄송하게 생각합니다! 좋은 강의 감사드립니다

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
김태범 댓글 1 좋아요 1 조회수 983

작업형1 모의문제2 강의에서 문제4

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

문제 4번 마지막에 데이터수를 구하기위해 sum을 할때 이런 오류가 뜹니다 ㅠㅠ 정수형이랑 수치형은 연산이 불가하다는(?) 오류인거같은데 수치형으로 바꿔보고자 int(df) int(df.sum()) 등 다양한 시도를 해봤는데 이런 식은 통하지않더라구요 ㅠㅠ 질문1) 풀이 과정에서 뭔가 잘못건드렸을까요? 왜 이런 오류가뜰까요 ㅠㅠ 질문2) 이런 오류가 떴을때 df를 수치형으로 바꾸는방법? # your code import pandas as pd df = pd.read _csv('members.csv') cols = df.select _dtypes('object').columns cols df = df[cols] df.head() df = df.fillna(0) df = df.T df.head() print(sum(df.sum() > 3000)) <--------이 과정에서 발생되는 오류입니다 <오류메세지> /usr/local/lib/python3.10/dist-packages/pandas/_libs/ops.pyx in pandas._libs.ops.scalar_compare() TypeError: '>' not supported between instances of 'str' and 'int'

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
ji_nhee 댓글 1 좋아요 0 조회수 221

2회 기출유형(작업형1) 에서 문제3

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

강의 듣고 혼자서 다시 풀어보는 도중에.. 질문이생겨 글남깁니다 ㅠㅠ 이상치를 벗어나는 값 찾기 cond1 = df['age'] < lower cond2 = df['age'] > upper 여기까지는 이해가 가는데 여기서 이상치의 합을 구할떄 sum(cond1 + cond2) 를 하면 왜 안되는걸까요? 'age'컬럼에서 lower 보다 작은것, upper보다 큰것을 더한다는 의미에서 될것같기도한데.. sum(cond1 + cond2) 와 df[(cond1)|(cond2)]['age'].sum() 의 차이가 궁금합니다 ㅠㅠ 비전공자인지라 아직 개념이 부족하여 쓸데없는 질문을 많이드리는것같지만 ㅠㅠ 정확하게 공부하고싶어서 질문드립니다

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
ji_nhee 댓글 2 좋아요 1 조회수 527

예시문제 작업형2 질문

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요! 강사님 매번 강의 감사드립니다~~~ 다름이 아니라, 자꾸 여기서 에러가 발생하는데 transform 부분에 무슨 에러가 있는 지 도저히 모르겠어서요....ㅜ

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
전수환 댓글 1 좋아요 0 조회수 367

작업형1 모의문제3 강의중 문제7번

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

index '2001' 데이터(행)의 평균보다 큰 값의 수 를 구할때 df.T 실행 후 행과 열을 바꾸어서 df['2001'].mean() 으로 평균을 구하면 왜 안되는걸까요? ㅠㅠ 이런식으로 오류가 뜹니다 . 오류 : KeyError: '2001'

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
ji_nhee 댓글 2 좋아요 1 조회수 486

작업형1 모의문제2 강의에서 문제4

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

문제 4번 마지막에 데이터수를 구하기위해 sum을 할때 이런 오류가 뜹니다 ㅠㅠ 정수형이랑 수치형은 연산이 불가하다는(?) 오류인거같은데 수치형으로 바꿔보고자 int(df) int(df.sum()) 등 다양한 시도를 해봤는데 이런 식은 통하지않더라구요 ㅠㅠ 질문1) 풀이 과정에서 뭔가 잘못건드렸을까요? 왜 이런 오류가뜰까요 ㅠㅠ 질문2) 이런 오류가 떴을때 df를 수치형으로 바꾸는방법? <작성한 코드> # your code import pandas as pd df = pd.read_csv('members.csv') cols = df.select_dtypes('object').columns cols df = df[cols] df.head() df = df.fillna(0) df = df.T df.head() print(sum(df.sum() > 3000)) <--------이 과정에서 발생되는 오류입니다 <오류메세지> /usr/local/lib/python3.10/dist-packages/pandas/_libs/ops.pyx in pandas._libs.ops.scalar_compare() TypeError: '>' not supported between instances of 'str' and 'int'

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
ji_nhee 댓글 1 좋아요 0 조회수 404

기사 (2회): 기출유형-작업형2 풀이 오류 해석

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요. 강의 잘 듣고 있습니다. 매번 질문에 답해주셔서 감사합니다. 아래와 같이 코드를 짰는데 데이터 프레임 만들기 submit = 에서 오류가 발생해서요. 해당 오류가... 무슨 뜻인지 알려주세요. 앞에서 test_id삭제하고 .pop을 빼먹었는데... 이것 땜에 발생했을까요? <오류내역> ValueError Traceback (most recent call last) <ipython-input-30-13b5884e1ac8> in <cell line: 63>() 61 62 # 데이터 내보내기 ---> 63 submit = pd.DataFrame( 64 { 65 'ID': X_test['ID'], /usr/local/lib/python3.10/dist-packages/pandas/core/internals/construction.py in extract index(data) 678 f"length {len(index)}" 679 ) --> 680 raise ValueError(msg) 681 else: 682 index = default_index(lengths[0]) ValueError: array length 1760 does not match index length 2200 <코드> # 라이브러리 및 데이터 불러오기 import pandas as pd X_train = pd.read_csv("X_train.csv") y_train = pd.read_csv("y_train.csv") X_test = pd.read_csv("X_test.csv") # EDA print(X_train.head()) print(X_test.head()) print(y_train.head()) pd.set_option('display.max_columns', None) print(X_train.shape, X_test.shape, y_train.shape) # (8799, 11) (2200, 11) (8799, 2) print(X_train.info) print(X_train.describe()) print(X_train.describe(include = 'object')) # Warehouse_block, Mode_of_Shipment, Product_importance, Gender print(X_train.isnull().sum()) # 결측치 없음 print(y_train.value_counts('Reached.on.Time_Y.N')) #1 5236, 0 3563 # 데이터 전처리 # 피처엔지니어링 # 라벨 인코딩 from sklearn.preprocessing import LabelEncoder cols = ['Warehouse_block', 'Mode_of_Shipment', 'Product_importance', 'Gender'] cols1 = X_train.select_dtypes(include = 'object').columns for col in cols: la = LabelEncoder() X_train[col] = la.fit_transform(X_train[col]) X_test[col] = la.transform(X_test[col]) # 데이터 분할 from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(X_train, y_train['Reached.on.Time_Y.N'],test_size = 0.2, random_state = 2023) print(X_tr.shape, X_val.shape, y_tr.shape, y_val.shape) #(7039, 11) (1760, 11) (7039,) (1760,) # 모델링 #분류(랜덤포레스트) from sklearn.ensemble import RandomForestClassifier model = RandomForestClassifier(random_state = 2023) model.fit(X_tr, y_tr) predict = model.predict_proba(X_val) print(predict) print(predict[:,1]) # 평가(ROC_AUC_SCORE) from sklearn.metrics import roc_auc_score pred=roc_auc_score(y_val, predict[:,1]) print(pred) # 랜덤포레스트 분류: 0.7340529818205483 # 예측 result = model.predict_proba(X_test) # 데이터 내보내기 submit = pd.DataFrame( { 'ID': X_test['ID'], 'Reached.on.Time_Y.N' : predict[:,1] } ) submit.to_csv("1111.csv", index = False)

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
가보자고 댓글 1 좋아요 1 조회수 628

Kernel panic - not syncing : Fatal exception

미해결

15일간의 빅데이터 파일럿 프로젝트

[4. VM 통합 환경 구성]에서 헤매고 있습니다. Windows11에서 보안 상의 이유로 VirtualBox 5.x 버전을 설치할 수 없다고 하여 6.1 버전을 설치하여 사용하고 있습니다. 다음은 Server01, Server02의 설정값입니다. 네트워크 어댑터1 NAT 네트워크 (강의와 같은 NatNetwork 10.0.2.0/24) 네트워크 어댑터2 호스트 전용 어댑터 (6.1버전이라서 [파일-호스트 네트워크 관리자]에서 강의와 같이 설정)

  • 빅데이터
  • hadoop
  • kafka
  • zookeeper
  • redis
  • flume
  • impala
  • 데이터-엔지니어링
thejitae 댓글 1 좋아요 0 조회수 1424

독립성 검정 관련 질문

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

독립성검정 관련하여 코랩에서는 선생님이 하신대로 문제없이 실행되었습니다. 그런데, 시험환경 체험하기에서 실행을 하다 보니 코랩에서 처럼 결과값(Chi2ContingencyResult(statistic=0.5552884615384607, pvalue=0.4561648467028253, dof=1, expected_freq=array([[47.14285714, 62.85714286], [27.85714286, 37.14285714]]))이 안나오고 결과값들이 어떤 값인지 표시가 없는 상태 ((0.5552884615384607, 0.4561648467028253, 1, array([[47.14285714, 62.85714286], [27.85714286, 37.14285714]])) 로 나왔습니다. 이렇게 나오는 이유와 개선 방법인 있는지요? 하단에 시험환경에 코딩한 결과입니다.

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
ycann 댓글 1 좋아요 1 조회수 390

데이터 전처리 IQR 이렇게 해도 되나요?

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

cols = list(X_train.columns[X_train.dtypes != object]) cols for col in cols: Q1 = X_train[col].quantile(.25) Q3 = X_train[col].quantile(.75) IQR = Q3-Q1 min_iqr = Q1 - 1.5*IQR max_iqr = Q3 + 1.5*IQR cnt_before = sum((X_train[col] < min_iqr) | (X_train[col] > max_iqr)) # (X_train[col] < min_iqr) | (X_train[col] > max_iqr), 주어진 조건 둘 중 하나라도 만족, 이상치를 나타내는 값을 선택하는 조건 print(f'{col}의 이상치 처리 전 이상치 개수: {cnt_before}개 입니다.') # f 접두사를 사용하여 문자열 안에서 중괄호 {} 안에 변수나 표현식을 넣을 수 있음 X_train = X_train[(X_train[col] >= min_iqr) & (X_train[col] <= max_iqr)] # (X_train[col] >= min_iqr) & (X_train[col] <= max_iqr), 주어진 조건 둘 다 만족, 이상치를 제외한 정상 범위의 데이터를 선택하는 조건 cnt_after = sum((X_train[col] < min_iqr) | (X_train[col] > max_iqr)) print(f'{col}의 이상치 처리 후 이상치 개수: {cnt_after}개 입니다.')

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
sychang2000 댓글 1 좋아요 0 조회수 414

통합강의안 요청

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

안녕하세요. 통합강의안 요청드립니다. 이메일 주소 : jyh1004jw@gmail.com 감사합니다!

  • 빅데이터
inyh 댓글 1 좋아요 0 조회수 336

예시문제 작업형2

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

데이터 전처리할 때 왜 id를 삭제하나요? 학습할 때 필요할 지 테스트의 id값이 최종적으로 필요할 지 어떻게 아나요?

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
sychang2000 댓글 1 좋아요 0 조회수 346

인기 태그

인프런 TOP Writers

주간 인기글