기출 1~5까지의 작업형 3
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
은 왜 없나요 ??
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
172만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
은 왜 없나요 ??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
#고급모델링 import pandas as pd train=pd.read_csv("train.csv") test=pd.read_csv("test.csv") #범주형데이터의 컬럼들만 가져오기 cols=train.select_dtypes(include="O").columns #이번에는 레이블인코딩해보기 from sklearn.preprocessing import LabelEncoder le =LabelEncoder() for col in cols: train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) target=train.pop('Segmentation') train= train.drop("ID",axis=1) test_ID = test.pop("ID") from sklearn.ensemble import RandomForestClassifier model = RandomForestClassifier(max_depth=9, random_state=2022) #교차검증 from sklearn.model_selection import cross_val_score score=cross_val_score(model, train, target, scoring='f1_macro',cv=5) print(score) [0.52381264 0.51261137 0.52051415 0.53607741 0.51389807]
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
smoothness error 면 제대로 된 결과값이 안 뜬거 아닌가요? 강의 결과값에도 똑같이 나와있어서 문의드립니다.
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
target = train.pop('output') from sklearn.preprocessing import MinMaxScaler sc = MinMaxScaler() train = sc.fit _transform(train) test = sc.transform(test) from sklearn.model_selection import train_test_split x_tr, x_val, y_tr, y_val = train_test_split(train, target, test_size = 0.2 , random_state =5) # print(x_tr.shape, x_val.shape, y_tr.shape, y_val.shape) from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier(random_state=5, max_depth = 5) rf.fit (x_tr, y_tr) pred1 = rf.predict(x_val) pred2 = rf.predict_proba(x_val) from sklearn.metrics import roc_auc_score, f1_score roc_auc_score = roc_auc_score(y_val, pred2[:,1]) f1_score = f1_score(y_val, pred1)
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
copy()함수를 사용하면 좋은 점?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님과 코드를 동일하게 작성하였는데, groupby부분을 실행하면 첨부한 사진과 같은 형식으로 결과값이 나옵니다. 문제해결 도와주시면 감사하겠습니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. 프로그램에 대한 지식이 없다보니 이것저것 내용을 보고 판단해서 작성한건데, 이렇게 하면 크게 문제가 없을까 싶어서 문의 드립니다. #1. 데이터불러오기 import pandas as pd train = pd.read _csv(r'C:\Users\user\Desktop\빅데이터분석기사 실기\8회\train.csv') test = pd.read _csv(r'C:\Users\user\Desktop\빅데이터분석기사 실기\8회\test.csv') #customerID, TotalCharges #불필요 삭제 train = train.drop('customerID', axis=1) test_ID = test.pop('customerID') #타켓 지정 target = train.pop('TotalCharges') #원핫 라벨링 train = pd.get_dummies(train) test = pd.get_dummies(test) 이후 데이터분리 데이터학습 데이터검증
미해결
실전 프로젝트로 배우는 데이터 앱 만들기 with Python & Streamlit
안녕하세요! 좋은 강의 감사합니다. 덕분에 원하는 홈페이지를 비교적(?) 쉽게 만들 수 있었습니다! 웹 페이지를 배포한 이후에 검색 최적화를 위해 google search console(구글 서치 콘솔)을 적용하고 싶습니다. 웹사이트 인증을 위해서는 html 파일 수정이 필요한데 방법을 잘 모르겠습니다... 혹시 좋은 방법이 있으실까요?ㅜㅜ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
import pandas as pd df=pd.read_csv('members.csv') q3 = df['views'].quantile(0.75) q1= df['views'].quantile(0.25) IQR=q3-q1 cond = (df['views']<q1-1.5*IQR)|(df['views']>q3+1.5*IQR) print(sum(cond)) 스스로 풀었을 때 이렇게 적었는데, or로 엮어서 합계를 구해도 각 조건 마다 카운트 해서 값을 정확히 내는 게 맞을까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
id나 subscribed 컬럼은 어떻게해서 생략이 됐나요 ??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
#모의문제 2 - 내가 푼 것 import pandas as pd df=pd.read_csv('members.csv') #print(df.info()) cond=df.dtypes=='object' #print(df.shape) df=df.drop(df.columns[cond],axis=1) df=df.fillna(0) #print(df.shape) #print(df.info()) cond2=df.sum(axis=1)>3000 print(len(df[cond2])) 이렇게 해도 정답 73으로 동일한데, 이렇게 풀어도 되는지 여쭙고싶습니다.
미해결
Airflow 마스터 클래스
선생님 유형 3개중 3번에 Setup Task: X 되어있는데, 셋업테스크는 있는거 아닌가요 직접 연결이 안되어있단 의미에서 그렇게 적으신건가 헷갈립니다 Teardown Task는 X인거같은데 유형 1과 동일하게 Downstream으로 적혀있어서, 약간 헷갈립니다 (Setup & Teardown 강의, 슬라이드 4)
미해결
Airflow 마스터 클래스
안녕하세요 wsl 에서 user/password 입력을 계속하라고 하는데, password를 토큰으로 입력해야하다보니 너무 힘들어요. copy & paste 가 안되더라구요 ㅠㅠ 어떻게 미리 등록해놓고 안물어보게 할수는 없나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
age 컬럼의 결측치를 채운 후 이상치를 처리하는 순서로 진행이 되는 코드로 이해했습니다. 그런데, age 컬럼의 이상치가 음수, 소수, 0 등으로 이상치 처리 전 결측치를 채우기 위해 평균(mean)값을 먼저 구한다면, 이상치가 평균값에 영향을 끼쳐 결측치 채움(대입)에 문제가 있지 않을까 생각이 되는데, 결측치 및 이상치의 전처리 순서를 바꾸어 이상치 처리를 먼저 하는 것은 어떨까요?
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
#중급단계 #목표 : 범주형 카테고리 데이터 활용하기 import pandas as pd train=pd.read_csv("train.csv") test=pd.read_csv("test.csv") #원핫?레이블인코딩? #EDA train.shape #범주형데이터를 원핫인코딩해보기 train.describe(include="O") test.describe(include="O") train=pd.get_dummies(train) test=pd.get_dummies(test) target=train.pop('Segmentation') test_ID = test.pop("ID") from sklearn.ensemble import RandomForestClassifier model = RandomForestClassifier(max_depth=9, random_state=2022) model.fit(train,target) pred = model.predict(test) pred
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
바로 모델학습 예측을 하시는데 데이터분할검증 과정은 왜 안하셨는지 이유가 궁금합니다.
미해결
파이썬 기초 강의 - 프로그래밍 입문
개발자님 안녕하세요. 맥북을 사용중인데 설명은 윈도우라서 조금 어려운거 같습니다. 그래서 윈도우로 코딩을 배울까 생각 중인데 현장에서는 맥북을 많이 쓴다는 얘기를 들었습니다. 맥북과 윈도우 중 어떤 걸로 강의를 듣는 것이 좋을지 질문드립니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
문제 2번에서 isnull() 로 결측치를 계산해 보니 f1 컬럼이 결측치가 30% 이상이었습니다. 이때 결측치가 30% 이상인 컬럼을 df.columns[...] 로 변수에 저장해서 사용하는 것보다, 컬럼 이름 f1 을 직접 코드에 넣는 방식이 더 적절한 건가요? 실무에서는 어떤 방식이 더 많이 쓰이는지도 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. train과 test object 유형 또는 갯수가 다르게 되면 어떤 처리가 필요한가요? train.describe(include=object), test.describe(include=object) 프린트해서 보면 개수가 같은지 보고 있는데요. 1.다른 경우는 어떻게 해야하는지, 2.아니면 범주 자체가 다른데 갯수만 똑같으면 상관없는지 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
위에가 영상 속 코드고 밑에가 제가 작성한 코드 인데 영상 속 코드 처럼 안하고 제가 작성한 대로 해도 괜찮은가요? target = train.pop('price') from sklearn.model_selection import train_test_split X_tr,X_val,y_tr,y_val = train_test_split(train,target,test_size=0.2, random_state=0)