묻고 답해요
156만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
평가지표 및 모델 관련
안녕하세요 :)현재 문제를 풀었을 땐, sklearn.metrics 에서 문제에서 주어진 모든 평가지표를 제공하고 있는데 시험 때도 동일하게 사용하면 될까요?from sklearn.metrics import r2_score, mean_absolute_error, mean_squared_error, root_mean_squared_error, root_mean_squared_log_error, mean_absolute_percentage_errorlightGBM 모델을 사용하면 RMSLE에 대해 마이너스 값에 대한 에러가 발생하는데, 이 경우 해당 모델을 사용하지 않는 게 좋을까요?문제에 제시된 모든 평가지표들에 대해서 에러가 안 떠야 채점 받을 때 불이익이 없는 건지 궁금합니다..!r-squared 값이 0.18로 굉장히 작은 편인데.. 결과가 이럴 수도 있나요?보니까 수업에서 배우지 않은 모델들도 굉장히 많은데 (ex. 릿지, 라쏘, XGBoost) ,분류/회귀 모두 '랜덤포레스트, lightGBM' 모델만 사용해서 문제를 풀어도 괜찮을까요? (여유가 되면 XGBoost 까지)
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
6회기출 3유형 1번째 문제에서
df['항암약'].value_counts() 이 뒤에 인덱스를 솔팅하셨는데 꼭 솔팅을 해야만 하는 과정인지요?
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
문제 2번 질문
혹시 이렇게 코드짰을때 문제가 되는게 무엇일까요 ??출력값은 0으로 나옵니다
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
f1-scorer과 f1-macro는 다른거 아닌가요?
평가지표는 f1-macro인데 강의에서는 f1-score로 풀이해주셔서요~
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
다중회귀분석 결정계수
안녕하세요 :)'문제 2-2'에서 '문제 2-1'에 적합한 모델의 결정계수를 구하라고 돼있는데,다중회귀분석은 수정결정계수를 봐야 하지 않나요?다른 분의 같은 질문에 대한 답변을 보니까 '적합한'을 '작업한'으로 이해하면 된다고 하셨는데'기출 7회 - 작업형3 - 문제 2-2'에서는다중회귀분석의 적합한 결정계수를 구하는 건 수정결정계수를 구해야 한다고 하셨거든요.'적합한 모델'이든 '적합한 결정계수'든 '적합한'의 위치에 상관 없이다중회귀분석의 결정계수는 수정결정계수를 봐야 하지 않나요?!
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
sum 함수 에러 문의
선생님께서 적어주신대로 sum 함수 이용하여 데이터 개수 구할 경우 에러가 뜨는데 이유를 알 수 있을까요?len 함수 이용할 경우 에러가 안뜹니다
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
6회기출 작업형 1을 저는 이런 코드로 풀어봤는데요
강의를 듣기전에 혼자 풀어보고 그러고 있는데 저는 아래와 같이 코드를 짜서 풀었는데일단 답은 나오는데 이런식으로 앞으로 풀면 나중에 문제를 헤쳐나가기에 어느부분이 부족할까요 정말 단순하게 생각하고 짜본 코드입니다. ㅜimport pandas as pd df=pd.read_csv("data6-1-2.csv") df['학생전체']=df['1학년']+df['2학년']+df['3학년']+df['4학년']+df['5학년']+df['6학년'] #학생전체/교사수(교사한명당) df['교사한명당']=df['학생전체']/df['교사수'] df.sort_values('교사한명당',ascending=False) #re=df.groupby("학교명")["교사수"].sum() #re.sort_values()
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
5회 기출 작업형2 코드 봐주시면 감사하겠습니다.
혼자 작성해보고 결과값도 나온거같은데 문제없는 코드일지요~ import pandas as pd train=pd.read_csv("train.csv") test=pd.read_csv("test.csv") #train.info(), test.info() #원핫인코딩(범주형을 수치형으로) target=train.pop("price") train=pd.get_dummies(train) test=pd.get_dummies(test) #데이터분할 및 검증하기 from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train,target, test_size=0.2,random_state=2022) #랜덤포레스트회귀? from sklearn.ensemble import RandomForestRegressor model=RandomForestRegressor(max_depth=7, random_state=2022) model.fit(X_tr, y_tr) pred=model.predict(X_val) pred # 모델성능평가 from sklearn.metrics import root_mean_squared_error re=root_mean_squared_error(y_val, pred) re pred = model.predict(test) result=pd.DataFrame({ "pred" : pred } ) result.to_csv("55.csv", index=False)
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
rmse값이 작다는 기준?
무엇과 비교했을때 작다고 판단하는것일까요?
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
강의연장 요청부탁드립니다.
강의 아직 다 듣지 못했는데 오늘까지 만료네여.작년에 수강등록 후 일이 바빠서 못듣다가 다시 공부중인데.. 아직 다 못들었어여 -.-;;; 이번 6월 시험 접수는 해두었는데.. .부탁드려요
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
혹시 8,9회차도 한가지방법으로 풀기를 올려주실수 있는지
안녕하세요 열심히 선생님거 보면서 빅분기학습하고 있습니다.여러 문제 풀면서는 뭘 외워야 하는지도 잘 몰랐고 공부하면서 굉장히 복잡했는데, 확실히 한 가지 방법으로 풀기 강의를 보면서 문제를 푸니까 뭔가 그래도 잡히는 거 같아요해서 최신 기출회차인 8회,9회도 한가지방법으로 풀기 colab으로라도 올려주실수 있는지 궁금합니다. 항상 늘 강의 잘 보고 있습니다.
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
원핫, 레이블 인코딩에서 합치기와 분리를 사용하는 시점이 언제일까요???
안녕하세요!24. 머신러닝 학습 및 평가 (분류)25. 머신러닝 학습 및 평가 (회귀)강의를 듣고 궁금한게 생겨서 질문을 남기고 있습니다! 0) 궁금증의 개요: Train 데이터와 Test 데이터의 컬럼수가 차이가 날 때,원핫 인코딩으로 풀기위해서는 합치기(concat) 와 분리를 사용하는 것으로 인지하고 있습니다. 1) 분류 문제의 경우① Train 데이터와 Test 데이터의 컬럼수가 차이가 남-> 원핫 인코딩을 쓰려면 합치기 (concat) 사용 + 원핫 인코딩 사용 + 분리-> 레이블 인코딩으로 합치기 (concat) 미사용하고, 풀이 진행함 2) 회귀 문제의 경우① Train 데이터와 Test 데이터의 컬럼수가 차이가 안남② 합치기(concat) -> 레이블 인코딩 -> 분리를 진행하고 풀이 진행함 3) 궁금한 점① 분류 문제에서 트레인 데이터와 테스트 데이터의 컬럼의 수가 다를 때,원핫 인코딩으로 풀이 진행하려면 .concat 사용 -> 원핫 인코딩 -> 분리해야하는데이 과정이 하기 싫으면 레이블 인코딩 사용하면 되나요??? ② Train 데이터와 Test 데이터의 컬럼수가 차이가 날때만,원핫 인코딩에서 합치기와 분리를 진행하는거 아닌가요??? ③ 회귀 문제에서는 Train 데이터와 Test 데이터의 컬럼수가 차이가 안나는데,왜 레이블 인코딩으로 합치기와 분리를 하신건가요??? ④ 회귀 문제에서 레이블 인코딩을 할 때, 왜 Test 데이터에는 트랜스폼을 진행안하신 이유가 있을까요?분류 문제에서는 트랜스폼을 진행하셨는거 같은데 ㅠㅠ ⑤ 원핫 인코딩, 레이블 인코딩에서 합치기와 분리 순서가 맞는지 확인 부탁드려도 될까요?- 순서 : 합치기 -> 원핫,레이블 인코딩 -> 분리 ※ 제가 파이썬이 처음이라 궁금한점이 너무 많은거 같습니다 ㅜㅜ번거롭게 해드려 죄송합니다ㅜㅜ
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
자동완성기능 해제 관련해서 문의드립니다 ㅠㅠ
주피터로 학습초반에 환경을 잘못 건드린것 같은데 회색 글씨 없애는 방법이 있을까요..?? 코드 치면서 나오는 도움 박스도 없애고 싶습니다....
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
기출 1~5까지의 작업형 3
은 왜 없나요 ??
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
레이블 인코더를 함수써서 작성했는데요 마지막에 score점수가 나온거면 문제없이 코드작성 된걸까요? 저 코드가 맞는지 ...(작성하고도 자신이 없네요)
#고급모델링 import pandas as pd train=pd.read_csv("train.csv") test=pd.read_csv("test.csv") #범주형데이터의 컬럼들만 가져오기 cols=train.select_dtypes(include="O").columns #이번에는 레이블인코딩해보기 from sklearn.preprocessing import LabelEncoder le =LabelEncoder() for col in cols: train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) target=train.pop('Segmentation') train= train.drop("ID",axis=1) test_ID = test.pop("ID") from sklearn.ensemble import RandomForestClassifier model = RandomForestClassifier(max_depth=9, random_state=2022) #교차검증 from sklearn.model_selection import cross_val_score score=cross_val_score(model, train, target, scoring='f1_macro',cv=5) print(score) [0.52381264 0.51261137 0.52051415 0.53607741 0.51389807]
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
모의고사 1-3 결과값 smoothness error 문의
smoothness error 면 제대로 된 결과값이 안 뜬거 아닌가요? 강의 결과값에도 똑같이 나와있어서 문의드립니다.
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
결과가 1로 나오는데 어디가 잘못된걸까요
target = train.pop('output')from sklearn.preprocessing import MinMaxScalersc = MinMaxScaler()train = sc.fit_transform(train)test = sc.transform(test)from sklearn.model_selection import train_test_splitx_tr, x_val, y_tr, y_val = train_test_split(train, target, test_size = 0.2 , random_state =5)# print(x_tr.shape, x_val.shape, y_tr.shape, y_val.shape)from sklearn.ensemble import RandomForestClassifierrf = RandomForestClassifier(random_state=5, max_depth = 5)rf.fit(x_tr, y_tr)pred1 = rf.predict(x_val)pred2 = rf.predict_proba(x_val)from sklearn.metrics import roc_auc_score, f1_scoreroc_auc_score = roc_auc_score(y_val, pred2[:,1])f1_score = f1_score(y_val, pred1)
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
copy()
copy()함수를 사용하면 좋은 점?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형1 모의문제3 문제8 오류발생
선생님과 코드를 동일하게 작성하였는데, groupby부분을 실행하면 첨부한 사진과 같은 형식으로 결과값이 나옵니다.문제해결 도와주시면 감사하겠습니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
기출문제 8회 2유형 관련 문의
안녕하세요.프로그램에 대한 지식이 없다보니 이것저것 내용을 보고 판단해서 작성한건데, 이렇게 하면 크게 문제가 없을까 싶어서 문의 드립니다. #1. 데이터불러오기import pandas as pdtrain = pd.read_csv(r'C:\Users\user\Desktop\빅데이터분석기사 실기\8회\train.csv')test = pd.read_csv(r'C:\Users\user\Desktop\빅데이터분석기사 실기\8회\test.csv')#customerID, TotalCharges#불필요 삭제train = train.drop('customerID', axis=1)test_ID = test.pop('customerID')#타켓 지정target = train.pop('TotalCharges')#원핫 라벨링train = pd.get_dummies(train)test = pd.get_dummies(test)이후데이터분리데이터학습데이터검증