[6회 기출] 작업형 1.3문제에 대해 질문드립니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
월평균을 구해야하는 데 선생님께서는 뒤에 sum() / 12를 하셨는데 이거를 그냥 mean()으로 구해도 되는걸까요?! 그리고 sum() / 12와 mean()은 둘다 평균을 구하는 코드 일까요.?
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
176만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
월평균을 구해야하는 데 선생님께서는 뒤에 sum() / 12를 하셨는데 이거를 그냥 mean()으로 구해도 되는걸까요?! 그리고 sum() / 12와 mean()은 둘다 평균을 구하는 코드 일까요.?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
print("귀무가설 기각") 라고만 작성해도 되나요? "귀무가설 기각. 약물을 복용한 그룹과 복용하지 않은 그룹의 평균 체온은 유의미한 차이가 없다" 이런 식으로 가설 내용도 함께 기재해야 하나요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
Notion 노트는 어떻게 다운로드 또는 같은 notion으로 페이지 복사를 할 수 있나여??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
조건에 len을 쓰면 조건 값의 길이가 아닌 전체 행의 길이가 나오는데 len은 sum과 같이 조건식 계산 출력이 안되나요?? 조건의 합을 구하려면 sum만 가능한가요? print(sum(df['qsec'] >0.5)) -> 9 print(len(df['qsec'] >0.5)) -> 32
미해결
15일간의 빅데이터 파일럿 프로젝트
휴 설치 강의에서 실습 중 psycopg2 설치 오류가 발생합니다. 해결방법이 있을지 문의드립니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
loc , iloc를 따질 때 '행'과 '인덱스'를 같은 개념이라고 생각하고 풀어도 상관없을까요..?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
독립표본 검정 강의 예시에서 보면 두집단 A,B에 대해 2가지 방법을 아래와 같이 설명 하셨는데, 결론이 상이한것이 질문입니다. 방법 1: shapiro-wilk 정규성 검증 을 통해 A집단이 정규성을 띄지 않는 다는 것을 알았고, 비모수 검증으로 mannwhiteyu 검정을 통해 그룹별 차이가 없다로 결론 방법2: levene 검증을 통해 분산이 동일 하지 않다를 알고,ttest_ind에 equal_var=False 옵션을 추가해서 검증 후, B그룹 평균점수가 더 높다라는 결론 -> 데이터가 동일한데 결론이 달라서 이해가 안갑니다
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
리스트에서 연속된 요소가 아닌, 원하는 요소만 추출하려고 한다면 어떻게 해야되나요? 예로 들면, 마지막 연습문제에서 '행복과 사랑만 추출'하는 것이 아닌 '행복과 공감만 출력'하는 경우입니다.
미해결
실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크
안녕하세요. 좋은 강의 감사합니다. scala를 이용하여 spark streaming을 배포할 때, 주로 shadow jar 파일을 생성하고 해당 파일을 이용하여 배포하는 걸로 알고 있는데, pyspark 같은 경우는 현업에서 어떤 방법으로 배포를 하고 있을까요? 1. 강의에서 소개해준 것처럼 파일 단위로 배포를 하는지 다른 방법으로 배포를 하는지 궁금합니다. 2. 강의에서 도커를 이용하여 빠르게 개발 및 배포하는 방법을 소개해주셨는데, 현업 로컬 환경에서도 주로 도커를 이용하여 개발을 하고 계실까요? 감사합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님 안녕하세요. 이제 갓 빅분기 3강... list 쪽 강의 듣는 학생입니다. 이전부터 현재,, 그리고 나중에 강의에서 다루는 모든 내용은 숙지가 되고.. 자동으로 코딩이 되어야 시험 합격이 가능한것인가요? 예를 들면 list.append 이런것을 전부 외워야 하는지 궁금합니다. 끝으로 해당 내용들을 모두 숙지하는게 맞다면.. 쉽게 할 수 있는 방법이 뭐가 있을까요? 파이썬이 아무래도 익숙하지 않다보니 어렵네요
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요 예시문제 작업형2번을 풀고 강의를 보고 궁금한점이 생겨 질문드립니다. 우선 아래는 제가 작성한 코드입니다. # 출력을 원하실 경우 print() 함수 활용 # 예시) print(df.head()) # getcwd(), chdir() 등 작업 폴더 설정 불필요 # 파일 경로 상 내부 드라이브 경로(C: 등) 접근 불가 import pandas as pd train = pd.read_csv("data/customer_train.csv") test = pd.read_csv("data/customer_test.csv") # 사용자 코딩 print(train.info()) train['환불금액'] = train['환불금액'].fillna(0) test['환불금액'] = test['환불금액'].fillna(0) # train['환불금액'] = train['환불금액'].fillna(train['환불금액'].mean()) # test['환불금액'] = test['환불금액'].fillna(test['환불금액'].mean()) train = train.drop(columns = '회원ID') test_id = test.pop('회원ID') X = train.iloc[:,:-1] y = train.iloc[:,-1] from sklearn.model_selection import train_test_split X_tr , X_val , y_tr , y_val = train_test_split(X,y,test_size = 0.2 ,random_state=42) print(X_tr.shape, X_val.shape , y_tr.shape ,y_val.shape) # X_tr, X_val를 명시적으로 복사본 생성 X_tr = X_tr.copy() X_val = X_val.copy() from sklearn.preprocessing import LabelEncoder le_col = ['주구매상품','주구매지점'] le = LabelEncoder() for i in le_col: X_tr.loc[:, i] = le.fit_transform(X_tr[i]) X_val.loc[:, i] = le.transform(X_val[i]) test.loc[:, i] = le.transform(test[i]) from sklearn.ensemble import RandomForestClassifier from xgboost import XGBClassifier from sklearn.metrics import roc_auc_score rf = RandomForestClassifier(random_state = 42, n_estimators=100, # 트리의 개수 max_depth=7, # 트리의 최대 깊이 min_samples_split=10, # 내부 노드를 분할하기 위한 최소 샘플 수 min_samples_leaf=4, # 리프 노드에 있어야 하는 최소 샘플 수 max_features='sqrt', # 각 트리를 분할할 때 고려할 최대 피처 수 bootstrap=True) # 부트스트래핑 사용 여부 rf.fit(X_tr,y_tr) pred = rf.predict_proba(X_val) # xgb = XGBClassifier(random_state=42,use_label_encoder=False, eval_metric='logloss') # xgb.fit(X_tr,y_tr) # pred = xgb.predict_proba(X_val) print(roc_auc_score(y_val,pred[:,1])) pred = rf.predict_proba(test)[:,1] submit = pd.DataFrame( {'pred' : pred } ) submit.to_csv('result.csv',index=False) print(pd.read_csv('result.csv')) # rf # 0.6435519983529352 # rf 하이퍼 # 0.6732206123306826 # xgb # 0.624477786070292 # 답안 제출 참고 # 아래 코드는 예시이며 변수명 등 개인별로 변경하여 활용 # pd.DataFrame변수.to_csv("result.csv", index=False) Q1)우선 강의중 라벨인코딩시 오브젝트 컬럼의 unique값 중 test에는 있고 train에는 없다면 test와 train을 합쳐서 라벨인코딩 후 나눠야 한다고 말씀해주셨는데요. 방식은 알겠으나 그렇게 되면 data leakege 현상이 있을수 있어 과적합 위험도 있지 않나요? Q2) xgb에는 라벨인코딩기능이 자동탑제된걸로아는데 오브젝트타입 컬럼의 unique값중 test에는 있고 train에는 없는경우에도 작동이 되나요? Q3) # X_tr, X_val를 명시적으로 복사본 생성 X_tr = X_tr.copy() X_val = X_val.copy()이 부분은 오류가 떠서 gpt에게 물어보고 수정 한 것인데요 왜 copy를 적용해야 오류가 안뜨는지 설명해주실수있나요? 지피티가 해주는 설명은 이해가 잘안되네요
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
import pandas as pd df= pd.read _csv( "members.csv" ) 강의처럼 똑같이 불러왔는데 아래 오류가 발생할경우 어떻게 해결하면되나요? --------------------------------------------------------------------------- FileNotFoundError Traceback (most recent call last) <ipython-input-1-f7b7bdb7966f> in <cell line: 3>() 1 # your code 2 import pandas as pd ----> 3 df=pd.read_csv("members.csv") 4 5 4 frames /usr/local/lib/python3.10/dist-packages/pandas/io/common.py in get_handle(path_or_buf, mode, encoding, compression, memory_map, is_text, errors, storage_options) 857 if ioargs.encoding and "b" not in ioargs.mode: 858 # Encoding --> 859 handle = open( 860 handle, 861 ioargs.mode, FileNotFoundError: [Errno 2] No such file or directory: 'members.csv'
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
강의 섹션3-3 문제 7번에서 df = pd.read _csv("data.csv", index_col="Unnamed: 0") 부분에서 index_col="Unnamed: 0"은 어떤 의미를 나타내나요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
상관관계 T검정시에 위와같이 피어슨/스피어맨은 귀무가설 기각, 켄달타우는 귀무가설 채택의 유의수준으로 나오는데 이 현상은 어떻게 보아야하는걸까요? 어떤 차이로 인해서 이렇게 유의수준이 갈리게 되는지 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
강의 순차적으로 들으면서 코랩에서 복습하고 있긴한데, 이렇게 계속 반복하면 되는걸까요? 예를들어 요약정리집이나 이런것들이 있으면 좋겠는데 실습환경에서 코드 쓰고, 실행하고 이런것만 반복하다보니 큰 틀에서의 개념이 명확해 지지가 않아서요! 혹시 제가 못 찾는걸까요 자료를 ㅠ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
# 의사결정나무 from sklearn.tree import DecisionTreeClassifier dt = DecisionTreeClassifier dt.fit(X_tr[cols], y_tr) pred = dt.predict_proba(X_val[cols]) 강의 순서대로 잘 따라하고 있었는데, y 인자가 없다는 오류가 나옵니다
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
7회때 코딩하던 짬바로 호기롭게 갔다가 광탈했었네요... 아무리 dir help 기능 믿고 가더라도 분류, 분석 등 언제 어느 것을 사용해야하는지 충분히 몸에 익혀야되겠더라고요... 7회때 작업형3에서 사용된 로지스틱회귀모형 문제는 강의 중에서는 7회 체험링크와 7회 실제 2번문제에만 있는건가요? 7회부터 다시 복기해보려하니 못 본거 같은 기억이... 나네요.. 다시 강의를 완독해야겠찌만 import statsmodels.api as sm logit = sm.Logit(종속변수, 독립변수) 위 방법과 강의의 아래 방법이랑 같은 방법인가요? from statsmodels.formula.api import logit
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
왜 아래와 같이 풀면 총합이 맞지 않는지 알 수 있을까요?? import pandas as pd df = pd.read_csv("members.csv") # df.head() df = df.dropna(subset = 'views') df["f3"] = df["f3"].fillna(0) df["f3"] = df["f3"].replace('silver',0).replace('gold',2).replace('vip',3) sum(df["f3"]) 또 어떨 때는 sum(df["f3"])이라고 작성하고 어떨 때는 df["f3"].sum()으로 작성하는지 차이점도 궁금합니다
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
디스코드 스터디 링크가 안들어가지는데 마감된걸까요?? 시험 한달전 참여할 수 있는 스터디는 따로 없는지 궁금합니다 참여하고 싶습니다 ㅠㅠ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요~ 대응표본검정 강의 관련 문의 드립니다. 귀무가설 기각여부는 양측검정과 단측검정 모두 유의수준 0.05 를 기준으로 판단하나요? 아니면 양측검정은 0.025, 단측검정은 0.05 를 기준으로 판단해야 하나요?