inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

묻고 답해요

176만명의 커뮤니티!! 함께 토론해봐요.

가상 server01 putty 접속시 오류 현상 (접속 끊김)

미해결

15일간의 빅데이터 파일럿 프로젝트

안녕하세요! "5. 빅데이터 클러스터 구성 4 - putty로 서버환경 접속"을 수강중에 있습니다. putty server01 login : root는 입력되는데, password가 쳐지지 않고 조금 있으면 접속이 끊긴다는 오류 메세지가 출력됩니다. "Remote side unexpectedly closed network connection" 어떻게 조치해야 하나요?

  • 빅데이터
  • hadoop
  • kafka
  • zookeeper
  • redis
  • flume
  • impala
  • 데이터-엔지니어링
sbp3636 댓글 1 좋아요 0 조회수 741

y_test

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

# 데이터 및 라이브러리 로드하기 import pandas as pd train = pd.read_csv('/content/train.csv') test = pd.read_csv('/content/test.csv') Train = train.copy() X_train = Train.drop(['Attrition_Flag','CLIENTNUM'],axis=1) y_train = Train['Attrition_Flag'] X_test = test.copy() X_test_CL = X_test.pop('CLIENTNUM') # print(X_train.head()) # print(y_train.head()) # print(X_test.head()) # EDA # print(X_train.shape, X_test.shape, y_train.shape) # print(X_train.isnull().sum()) # print(X_test.isnull().sum()) # print(X_train.describe()) # print(X_test.describe()) # print(X_train.describe(include = object)) # print(X_test.describe(include = object)) # print(y_train.value_counts()) # 데이터 전처리 - 결측치 없음, 이상치 없음 # 피처 엔지니어링 cols1 = list(X_train.columns[X_train.dtypes == object]) # 범주형 cols2 = list(X_train.columns[X_train.dtypes != object]) # 수치형 # print(cols2, X_train.info()) Xc_train = X_train[cols1] # 범주형 Xc_test = X_test[cols1] Xn_train = X_train[cols2] # 수치형 Xn_test = X_test[cols2] Xc_train = pd.get_dummies(X_train[cols1]) # 범주형 데이터 원핫인코딩 Xc_test = pd.get_dummies(X_test[cols1]) from sklearn.preprocessing import RobustScaler Ro = RobustScaler() X_train[cols2] = Ro.fit_transform(X_train[cols2]) X_test[cols2] = Ro.transform(X_test[cols2]) Xn_train = X_train[cols2] # 수치형 Xn_test = X_test[cols2] X_train = pd.concat([Xc_train, Xn_train], axis = 1) X_test= pd.concat([Xc_test, Xn_test], axis = 1) # print(X_train.head()) # print(X_test.head()) # 데이터 분리 from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(X_train, y_train, test_size = 0.15, random_state=2023) # print(X_tr.shape, X_val.shape, y_tr.shape, y_val.shape) # 모델링 import lightgbm as lgb lg = lgb.LGBMClassifier(random_state=2023) lg.fit(X_tr, y_tr) predict = lg.predict(X_val) predictproba = lg.predict_proba(X_val) # 평가 및 제출 # ROC-AUC, 정확도(Accuracy), F1, 정밀도(Precision), 재현율(Recall) from sklearn.metrics import roc_auc_score, accuracy_score, f1_score, precision_score, recall_score # print(roc_auc_score(y_val, predictproba[:,1])) # print(accuracy_score(y_val, predict)) # print(f1_score(y_val, predict)) # print(precision_score(y_val, predict)) # print(recall_score(y_val, predict)) predictproba_final = lg.predict_proba(X_test) submit = pd.DataFrame( { 'CLIENTNUM':X_test_CL, 'Attrition_Flag':predictproba_final[:,1] } ) # submit.head() submit.to_csv('1.csv', index = False) # 제출 제대로 했나 확인 pd.read_csv('1.csv') # y_test = pd.read_csv('/content/y_test.csv') print(roc_auc_score(y_test, predictproba_final[:,1])) print(roc_auc_score(y_test, predictproba_final[:,1]))만 되고 print(roc_auc_score(y_test, predictproba[:,1]))는 안되는게 정상인가요?

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
sychang2000 댓글 1 좋아요 1 조회수 290

5회기출 작업형2유형을 lightgbm을 활용하여 풀이할 때 질문드립니다

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

강사님 안녕하세요! 시험 전 ligthgbm에 대해서도 말씀해주셔서 감사합니다 다름이 아니라 해당 알고리즘을 활용해보고자 5회기출 작업형 2문제에 풀어보았는데 rmse값이 너무 큰 값이 나와.. 문제가 무엇인지 알고싶습니다 ㅠㅠ 제가 어디부분을 잘못 코드 작성하였는지 알 수 있을까요? 자동차가격 예측문제로 lgb 회귀로 작성하였습니다. 확인 부탁드립니다 감사합니다!

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
jkl2792 댓글 1 좋아요 0 조회수 373

비지도학습

해결됨

빅데이터분석기사 실기대비 (R 활용)

안녕하세요, 혹시 2유형에서 비지도학습(군집분석 등)이 나올 가능성이 있을까요?

  • 빅데이터
양경근 댓글 1 좋아요 0 조회수 383

작업형 3 풀이 관련

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요. 늘 좋은 강의 감사합니다. 작업형3과 관련해 문의가 있습니다. 우선 이번에 예시로 나온 문제 풀이의 경우 "μ d = 치료 후 혈압 - 치료 전 혈압"이기 때문에 귀무가설(H0): μ d >=0 대립가설(H1): μ d < 0 stats.ttest_rel(df["bp_after"],df["bp_before"],alternative="less") 와 같이 코딩을 해야 한다고 알려주셨습니다. (bp_after와 bp_before 순서 헷깔리지 말기!) 그런데 작업형2 예시 중 독립표본 예시의 경우 아래의 가설 검증 시 풀이가 다음과 같았습니다. 귀무가설(H0): μ 1 = μ 2, A집단과 B집단 시험 평균 점수는 같다 대립가설(H1): μ 1 < μ 2, A집단이 B집단 보다 평균 점수가 작다 stats.ttest_ind(df["Agroup"],df["Bgroup"],alternative="less") 위의 코딩에서는 Bgroup, Agroup 순서가 아니고 반대인데, 조금 헷깔리더라구요. 설명해주시면 감사하겠습니다~

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
ryan1214 댓글 1 좋아요 0 조회수 552

범주형, 수치형 데이터 분리해서 전처리

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

범주형, 수치형 컬럼을 각각 train, test 나눠서 수치형은 MinMaxscaler 범주형은 LabelEncoder 이런식으로 진행을하고 나중에 pd.concat으로 합쳐주는 과정을 거치다보면 특히 합치는 과정에서 오류를 많이 내고 있는 상황인데요 type2-ex처럼 범주형 '주구매상품', '주구매지점' 컬럼을 각각 라벨 인코딩해주고 나머지 cols에 수치형 모아서 인코딩하는 방식으로 따로 데이터 분리했다가 결합하는 과정 없이 진행해도 무방한가요?

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
sun785 댓글 1 좋아요 0 조회수 547

predict함수 type 질문

미해결

빅데이터분석기사 실기대비 (R 활용)

작업형 2유형 질문드립니다. predict 함수 사용 시에 type별로 어떤 상황에 어떤걸 써야하는지 궁금해서 질문 올립니다. 감사합니다.

  • 빅데이터
3대510코딩맨 댓글 1 좋아요 0 조회수 597

작업형2모의문제3 lightgbm

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요 ㅠㅠ 시험때 랜덤포레스트랑 lightgbm 두가지를 준비해가려고 lightgbm을 사용해보는중인데, 아래와같이 오류가발생합니다 ㅠㅠ 이건 무슨의미인가요? 작성한 코드 : import pandas as pd train = pd.read_csv('train.csv') test = pd.read_csv('test.csv') y_test = pd.read_csv('y_test.csv') #데이터전처리 결측치없음, 오브젝트없음 from sklearn.model_selection import train_test_split x_tr,x_val,y_tr,y_val = train_test_split(train.drop('output',axis=1),train['output'],test_size=0.2,random_state=2022) #모델링 import lightgbm as lgb model = lgb.LGBClassifier(random_state=2022,max_depth=5) <----여기서 오류가 발생합니다 model.fit(x_tr,y_tr) pred = model.predict_proba(x_val) 오류 : AttributeError: module 'lightgbm' has no attribute 'LGBClassifier'

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
ji_nhee 댓글 1 좋아요 0 조회수 358

작업형 1 예시문제 민맥스스케일 과정 중 질문

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요~ 다름이 아니고 민맥스스케일 과정 중 df['qsec'] = scaler.fit _transform(df[['qsec']]) 에서 df[['qsec']] 이처럼 언제 대괄호가 두개 쓰이는건지 이해가 잘 가지않습니다 ㅠㅠ 즉, 왜 df['qsec']가 되지 않는지요.. ㅠㅠ

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
ji_nhee 댓글 1 좋아요 1 조회수 436

T2-1 원핫인코딩

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요 T2-1 원핫인코딩을 하는 과정에서 컬럼을 지정하는 것에 관하여 질문을 드립니다. 위 데이터 중에서 어떤 기준으로 features를 고르는 것인지 알고 싶습니다

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
smile5754 댓글 1 좋아요 0 조회수 251

작업형2 유의사항

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요 강사님 작업형2유형 유의사항에 평가용 데이터 개수와 예측 결과 데이터 개수 불일치시 0점이라 되어있는데요. train.shape, test.shape 찍었을때 만약 (712,7) (179,7) 오 나왔다면 여기서( 712,7)이랑 (179,7)에서 컬럼이 7로 같으니까 개수가 위 주의사항에서의 데이터 개수가 일치한다고 보는건가요? 데이터 개수라는게 어떤걸 의미하고 이것이 일치하는지를 어떻게 확인할수있나요? 만약 roc_auc_score등으로 평가지표가 산출이된다면 제출할때 데이터개수 불일치로 인해 0점맞을 걱정은 안해도되는건가요? 저기 주의사항에 있는 데이터개수 불일치라는게 정확히 뭘 의미하고 어떻게 확인하는지를 모르겠네요ㅠㅠ

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
김태범 댓글 1 좋아요 1 조회수 479

이상치 처리시

미해결

빅데이터분석기사 실기대비 (R 활용)

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 이상치 처리시 ifelse()를 사용하셨는대 df$Ozone[df$Ozone > upp] <- mean(df$Ozone, na.rm = T) 이렇게 사용해도 될까요? 알려주신 방법과의 차이점은 무었이고 혹시 변경할 코드로 작성시에 실수할수 있는 경우의 수가 있을까요?

  • 빅데이터
Seung kyu Park 댓글 1 좋아요 0 조회수 456

작업2유형 - 4회 기출 질문 드립니다

미해결

빅데이터분석기사 실기대비 (R 활용)

안녕하세요, 4회 기출 주신 자료를 따라서 코딩 하고 있는데 confusionMatrix 결과값이 다르게 강의 파일과 다르게 나옵니다. 'cm1$byClass'를 넣어도 에러 메세지가 나오고요. 확인 부탁 드립니다. 감사합니다 [confusionMatrix 시행 결과 화면]

  • 빅데이터
shsfirstman 댓글 1 좋아요 0 조회수 452

[섹션6] 작업형2 모의문제2 mape 평가 관련 질문입니다.

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요~ 계속 반복한 끝에 미숙하게나마 직접 데이터를 가공해서 모델을 만들어서 돌려보는 데까지 성공했습니다. 정말 좋은 강의 감사합니다. 저 같은 경우에는 name, host_id, host_name, last_review, reviews_per_month 이런 결측치가 많거나 object인 컬럼들은 모두 날려줬고 LabelEncoer, MinMaxScaler를 사용해서 피처엔지니어링을 해줬습니다. 그렇게 해서 평가에 사용한 모델은 RandomForestRegressor 고요. 다른 결과치들은 선생님께서 방송 중에 만들어주신 모델에 비해서 살짝 살짝 낮지만… 그래도 결과값이 나오긴 나와서 다행이라고 생각하고 있는데요. (정말 고맙습니다!) 딱 하나 아래 mape 요 놈은 결과값이 inf로 나옵니다. MAPE(Mean Absolute Percent Error) 요건 Inf - 아마 무한대겠죠? 분모에 해당하는 수가 0에 가까워서 그런 게 아닐까 싶기도 한데요. 이 평가지표를 쓰라고 한다면 MinMaxScaler는 쓰면 안 되는 걸까요? 요게 영향을 주지 않았을까 싶어서요. 출근을 해야해서 일단 생각을 여기까지 해보고 퇴근하고 다시 올려보겠습니다. 랜덤포레스트 모델하고 LightBGM 요렇게 두 가지만 쓰려고 작정하고 준비하고 있습니다. 그럼~

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
onlykaggle 댓글 1 좋아요 1 조회수 529

Part2. 작업형 3유형 >> 실습(T검정) > 쌍체표본 T- 검정 질문

미해결

[핵집] 2025 빅데이터 분석기사(실기)_작업형 1·2·3유형

Part2. 작업형 3유형 >> 실습(T검정) > 쌍체표본 T- 검정 질문 강의내용 중 stats.ttest_rel(df['before_spr'], df['after_spr'], alternative = 'greater') alternative = 'greater' 로 했는데 이유를 잘 모르겠습니다. greater 면 X1( before_spr ) 이 더 크나는것이 아닌가요? 귀무가설 H0 : (살충제 뿌린 후 곤충수 - 살충제 뿌리기전 공충수) >0 이기에 alternative = 'less'로 해야 하지 않나요? - 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.

  • 빅데이터
정종덕 댓글 2 좋아요 0 조회수 592

작업형2 모의문제 2 질문있습니다!

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요! 작업형 2 모의문제 2의 마지막에 csv파일을 제출할 때 에러가 발생하는데, 어떤 이유인지 찾아봐도 안보여 질문드립니다. 그리고 작업형 2유형의 train과 test데이터 파일만 주어진 경우, 어떤 문제는 n_train, c_train, n_test, c_test로 나누는 문제가 있고 그렇지 않은 문제들이 있어서 헷갈립니다ㅠ 그래서 문제를 읽고 데이터를 분리해야하는 상황이 궁금합니다! import pandas as pd train = pd.read_csv('train.csv') test = pd.read_csv('test.csv') # print(train.head()) # print(test.head()) # print(train.info()) 1. 불필요한 컬럼제거 2. 결측치 대치 3. 인코딩 4. 스케일링 # print(test.info()) train = train.drop(columns ='id') test_id = test.pop('id') # print(test_id) cols = ['host_id','neighbourhood_group','neighbourhood','name', 'host_name', 'last_review'] # print(train.shape) train = train.drop(cols, axis =1) test = test.drop(cols, axis =1) # print(train.shape) # train = train.drop(columns ='host_id') # test = test.drop(columns ='host_id') # train = train.drop(columns ='neighbourhood_group') # test = test.drop(columns ='neighbourhood_group') # train = train.drop(columns ='neighbourhood') # test = test.drop(columns ='neighbourhood') # train = train.drop(columns ='name') # test = test.drop(columns ='name') # train = train.drop(columns ='host_name') # test = test.drop(columns ='host_name') # train = train.drop(columns ='last_review') # test = test.drop(columns ='last_review') # print(train.info()) # print(test.info()) # print(train.isnull().sum()) # print(test.isnull().sum()) train['reviews_per_month'] = train['reviews_per_month'].fillna(0) test['reviews_per_month'] = test['reviews_per_month'].fillna(0) # print(train.isnull().sum()) # print(test.isnull().sum()) #라벨 인코딩 from sklearn.preprocessing import LabelEncoder cols =train.select_dtypes(include = 'object').columns for col in cols: encoder = LabelEncoder() train[col] = encoder.fit_transform(train[col]) test[col] = encoder.transform(test[col]) # print(train.info()) # print(test.info()) # print(train.describe()) # print(test.describe()) # 스케일링 from sklearn.preprocessing import minmax_scale cols2 = train.select_dtypes(exclude = 'object').columns for col in cols2: train[col] = minmax_scale(train[col]) cols2 = test.select_dtypes(exclude = 'object').columns for col in cols2: test[col] = minmax_scale(test[col]) # print(train.describe()) # print(test.describe()) from sklearn.model_selection import train_test_split X_train, X_val, y_train, y_val = train_test_split(train.drop('price', axis=1), train['price'], test_size=0.2, random_state=20) # print(X_train.head()) from sklearn.ensemble import RandomForestRegressor rf = RandomForestRegressor() rf.fit(X_train, y_train) pred = rf.predict(X_val) # print(pred) #id,price sumit = pd.DataFrame({'id': test_id, 'price' : pred}) submit.to_csv('10004.csv', index=False)

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
화이팅 댓글 1 좋아요 0 조회수 492

3회 기출유형(작업형2) 코드 인코딩 방법 관련 질문

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요. 우선 좋은 강의 너무 감사드립니다. 3회 기출유형(작업형2) 코드 인코딩 방법 관련 질문드립니다. 풀이 영상에서 원핫인코딩 방법을 선택해주셨던데 시험 문제를 풀때 1)원핫인코딩을 할지 2)라벨인코딩을 할지는 어떤 정보를 보고 선택하나요? 저는 라벨 인코딩이 익숙해서 아래 처럼 작성했는데 인코딩 방식이 무관하다면, 아래처럼 라벨인코딩으로 진행해도 될지 문의드립니다. # 수치형 데이터와 범주형 데이터 분리 n_train = train.select_dtypes(exclude=object).copy() c_train = train.select_dtypes(include=object).copy() n_test = test.select_dtypes(exclude=object).copy() c_test = test.select_dtypes(include=object).copy() cols = c_train.columns for col in cols: le = LabelEncoder() c_train[col] = le.fit_transform(c_train[col]) c_test[col] = le.transform(c_test[col]) c_train.head()

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
닉네임 댓글 1 좋아요 0 조회수 486

dplyr 라이브러리의 select 함수를 궂이 써야하는 이유가 있을까요?

미해결

빅데이터분석기사 실기대비 (R 활용)

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 기본적으로 [ , ] 사용한 인덱싱과 셀렉트 함수를 사용하여 인덱싱 하는것의 차이점이과 사용시 더 유용한 경우가 있을까요? 혹시 가독성이 더 좋아서일까요?

  • 빅데이터
Seung kyu Park 댓글 2 좋아요 0 조회수 429

하이퍼파라미터 질문입니다.

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요 강사님 교차검증을 통해 하이퍼파라미터를 사용할 때, 분류모델인 랜덤포레스트 외에도 의사결정나무, XGBOOST, 회귀모델인 로지스틱 등 전 모델에 동일하게 사용이 가능한가요? random_state의 값을 다른 값을 찾을 필요없이 0으로 고정해도 괜찮을까요? 기존방식대로 검증 데이터를 분리하여 하이퍼파라미터 최적 값을 찾는 방법은 없을까요? 하이퍼파라미터를 사용하지 않고 기존방식으로 검증 데이터를 분리 후 성능지표가 가장 좋은 모델을 사용하는 방식으로 해도 점수감점이 없을까요? 4가지 질문에 대한 답변을 해주시면 감사합니다.

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
pjh990219 댓글 1 좋아요 1 조회수 332

df.sum() 과 sum(df) 차이가 뭔가요?

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

df.sum() 과 sum(df) 차이가 무엇인지 질문드립니다.

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
빅분기 댓글 2 좋아요 0 조회수 1031

인기 태그

인프런 TOP Writers

주간 인기글