172만명의 커뮤니티!! 함께 토론해봐요.
미해결
Airflow 마스터 클래스
안녕하세요. 강사님 현재 저는 mac 기반이며, airflow 을 띄우는데는 성공하였습니다. dag으로 들어가, 실행까지는 잘 되는데 그 후 코드나 그래프를 확인하려면 무한로딩만 되어 내용을 볼수없는 상황입니다 . 문제가 되는 화면인데, 혹시 몰라 docker ps 로 입력 시 일부 몇개가 unhealthy 하게 나오는것을 확인하였는데, 이 부분과 문제가 있을까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
둘 다 csv 파일인데, 하나는 작은따옴표로 묶고 다른 하나는 대괄호로 묶는 이유가 궁금해요 train = train.drop('customerID', axis = 1) test = test.drop([customerID], axis = 1)
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
제2유형에서 df.isnull().sum()으로 결측값나올까요? 기출문제 풀어보는데 한번도 결측값채우는건 안나온거같은데 미리 준비하는건가요 아님 기출에서 진짜 안나온게맞는건가요
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
카이제곱이나 로지스틱회귀 같은건 어디서보나요??
미해결
비개발자도 쉽게 시작하는 코딩 입문 강의: PCCE 합격을 위한 파이썬 기초 & 알고리즘
안녕하세요 강사님의 풀이는 이해가 됐는데요. for j in range(5-i): 이것의 결과값이 5, 4, 3, 2, 1 이면 # for j in range(5,0,-1) 이렇게 진행해도 동일한 결과값이 나옵니다. 그런데 run하면 ***** ***** ***** ***** ***** 이렇게 나옵니다. 무슨 차이가 있을까요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님, 제가 아래와 같이 로직을 구현해서 저걸로 뺑뺑이 돌리면서 연습하고있는데요. 궁금한건 답이랑 차이가 조금 나는데 범위안에 들어오면 문제없는건가요? 정답과 일부차이가 나는경우, 오답으로 인정하는 부분인지 아니면 부분점수로 정리되는건가요 예를들어, 40점 만점에서 범위가 초과하면 37 / 35점 이렇게 받는기준인가요? 일단 제2유형은 만점받고 가는 개념이라 우려스러워서 문의드립니다. import pandas as pd train = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/refs/heads/main/p4/6_2/energy_train.csv") test = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/refs/heads/main/p4/6_2/energy_test.csv") # train.info() # test.info() target = train.pop('Heat_Load') train = pd.get_dummies(train) test = pd.get_dummies(test) train, test = train.align(test, join='left', axis=1) from sklearn.model_selection import train_test_split x_tr, x_val, y_tr, y_val = train_test_split(train, target, test_size=0.2, random_state=0) from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier(random_state=0) rf.fit(x_tr, y_tr) pred = rf.predict(test) submit = pd.DataFrame({'pred':pred}) submit.to_csv('result.csv', index=False) ans = pd.read_csv('result.csv') print(ans)
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 선생님 혹시 실기체험에서 해보니깐 단축키가 안먹히던데 실기시험장에서는 단축키를 쓸 수 없나요?? (shift+enter, ctrl+/) 그리고 실기시험장에서는 캐글이나 코랩처럼 실행셀 바로 밑에 예쁘게 표나 문구로 나오는게 아니고 맨밑에 실행결과에 안예쁘게 나오는거 맞죠..??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 선생님 캐글 T1-11부터 갑자기 코드 실행이 안됩니다. t-10까지는 셀?도 나눠져 있고 실행이 잘되는데 t-11부터 갑자기 셀이 한개이면서 실행도 안됩니다.. 코드 추가 버튼도 없고.. 어떻게 해야 되나요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 저는교재랑 같이구입해서 공부하는 중입니다. 시계열데이터에 대해서 강의내용은 다 학습을 했는데 교재에는 시계열데이터 관련해서 더 많은내용이 있더라구요,,,근데 너무 어려워서 ..지금시험이 20일정도 남은 시점에서 이내용까지 공부해서 완벽하게 익혀야하는지 의문이 들어서요 교재 섹션26부터는 대부분 조건문이 2개 이상 넣어서 풀어야하는 문제인데 저는 이번에 파이썬을 처음 접해서.. 응용이 힘드네요 기출문제를 봤을때 아직 시계열은 많이 안나왔던데 그래서 고민이 좀 되구요..시계열데이터에서 어디까지 공부해야하는지 조언부탁드립니다.
미해결
[Level 2] Qt를 이용한 Python 프로그래밍: QML편
안녕하세요! 강의를 보던 중 질문이 있습니다! Window { width:400; height:112 } 라고 했을 때. Rectangle에서도 parent.width를 써도 되지 않나요?? 안쓰는 이유가 있는지 궁금해서 문의 드립니다!
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
예시문제 작업형2를 먼저 푼 뒤에 풀이 영상을 봤습니다. 근데 제가 처음에 풀 때는 train, test 데이터의 주구매상품을 unique 찍어보니 다르게 나와서 pd.concat을 통해 데이터를 합친 뒤 라벨 인코딩을 하고 다시 나눠서 진행했습니다. 근데 풀이영상에서는 안 합치고 라벨 인코딩을 진행하셨는데 train 테이블 가지고 학습하는데 예측할 테이블보다 유니크 수가 더 많으면 굳이 합칠 필요가 없는 건가요? 그리고 합쳐서 진행해도 상관 없는 걸까요? roc_auc_score는 0.62점으로 풀이 영상보다 높게 나오긴 했습니다.
미해결
파이썬 주식 매매 봇으로 주식시장 자동사냥하기
안녕하세요, 국내주식 과거 분봉데이터를 받을수는 없는것인가요? 한투 사이트를 보면 당일 분봉데이터만 제공하는 것으로 보입니다만, 다른 방법이 있는지 문의드립니다. 분봉데이터를 받아볼수 있다면, 어떤식으로 데이터를 보관?하여 벡테스팅을 하는것이 효율적인지 조언구합니다. 예를들어 SQL 데이터베이스 같은 db를 사용하는게 나을지 등 감사합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
8회 기출유형 (작업형2) 문제 관련해서 저장할때 오류가 떠서 문의드립니다. import pandas as pd train = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/refs/heads/main/p4/8_2/churn_train.csv") test = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/refs/heads/main/p4/8_2/churn_test.csv") train.shape, test.shape cols = train.select_dtypes(include='object').columns cols from sklearn.preprocessing import LabelEncoder for col in cols: le = LabelEncoder() train[col]=le.fit_transform(train[col]) test[col]=le.transform(test[col]) from sklearn.model_selection import train_test_split X_tr,X_val,y_tr,y_val = train_test_split (train,target,test_size=0.2,random_state=2022) X_tr.shape,X_val.shape,y_tr.shape,y_val.shape from sklearn.ensemble import RandomForestRegressor model = RandomForestRegressor(random_state=2022) model.fit(X_tr,y_tr) pred = model.predict(X_val) from sklearn.metrics import mean_absolute_error mae = mean_absolute_error(y_val,pred) print(mae) pred = model.predict(test) submit = pd.DataFrame({'pred':pred}) 제일 마지막 pred = model.predict(test) 과정에서 ValueError Traceback (most recent call last) <ipython-input-82-67795a42191c> in <cell line: 0>() ----> 1 pred = model.predict(test) 2 submit = pd.DataFrame({'pred':pred}) 5 frames /usr/local/lib/python3.11/dist-packages/pandas/core/generic.py in __array__(self, dtype, copy) 2151 ) -> np.ndarray: 2152 values = self._values -> 2153 arr = np.asarray(values, dtype=dtype) 2154 if ( 2155 astype_is_view(values.dtype, arr.dtype) ValueError: could not convert string to float: 'CUST0769' 이런 오류가 뜨길래 검색해보니 object 형태의 컬럼이 있다고 오류가 뜹니다ㅠ 전처리 과정에서 Label인코딩을 하였고, 데이터 형태 int로 바뀐것까지 확인하였는데, 확인 부탁드리겠습니다ㅠㅠ 선생님 강의에서 customer_ID를 삭제(drop)하였는데, 그걸 저는 따로 진행을 안했는데, 혹시 그것 때문인지 문의드립니다! 추가로 customer_ID를 삭제 안하고 진행해도 괜찮은지도 알려주시면 감사하겠습니다~!^^
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
문제에서 어떤방법으로 검정하라고 알려주나요? 예를 들면 '샤피로검정으로 분석하시오' 이런식으로 검정 방법을 명확히 알려주는지 어떠한 상황으로만 가정하는지 궁금합니다
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 작년 말에 하고 개인적인 일이 크게 있어서 멘탈터져갖고 응시포기하고, 이번에 또 준비중인데요 확실히 쉽지 않네요. 사람들이 유형2랑 유형 3만 기출 반복 통해서 좀 하면 된다고 하는데, 마음의 여유가 없다보니.. 혹시 2유형이라도 일단 정복하고 싶은데 학습 순서 추천 가능할까요
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
하이퍼 파라미터 튜닝 방식은 모든 모델에 대해 공통적으로 적용되는 건가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
r2랑 rmse 같이 검증해봤는데 rmse가 만단위가 나오고 r2는 음수값이 나와서 혼자 풀다가 풀이 영상을 시청하게됐습니다ㅎ 이론을 들었을때 작업형2는 성능평가 좋은쪽(?)으로 점수를 부여한다고 기억했는데 모델별 상대적인거고 굳이 더 좋은 성능이 나오도록 튜닝할 필요는 없을까용?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작성 답안 : import pandas as pd import numpy as np train = pd.read _csv(" https://raw.githubusercontent.com/lovedlim/inf/main/p2/ceredit%20card/train.csv ") test = pd.read _csv(" https://raw.githubusercontent.com/lovedlim/inf/main/p2/ceredit%20card/test.csv ") target = train.pop('Attrition_Flag') train = pd.get_dummies(train) test=pd.get_dummies(test) train.shape, test.shape from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size = 0.2, random_state=0) X_tr.shape, X_val.shape, y_tr.shape, y_val.shape from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier() rf.fit (X_tr, y_tr) pred = rf.predict(X_val) from sklearn.metrics import f1_score f1_score = f1_score(y_val, pred) print(f1_score) pred = rf.predict_proba(X_val) from sklearn.metrics import roc_auc_score roc_auc_score = roc_auc_score(y_val, pred[:,1]) print(roc_auc_score) pred = rf.predict_proba(test) pred submit = pd.DataFrame({'Attrition_Flag':pred[:,1]}) submit.to _csv('result.csv',index=False) df = pd.read _csv('result.csv') df.shape 1. 강의 자료에서 검증 데이터 분리시 train.drop을 이용하여 baseline, 인코딩 여러 가징 방법을 적용하여 성능이 우수한 것을 결정하였는데, 시험볼때 원핫 인코딩 하나만 설정해서 진행해도 되는지 문의드립니다. 2. 전처리 시 'CLIENTNUM' 가 오버피팅될 수 있으므로 pop을 활용하여 따로 빼서 분리하였는데, 해당 과정은 생략해도 되는지 문의드립니다. 3. 원핫 인코딩 설정시 pd.get_dummies(train, columns = cols)가 아닌 pd.get_dummies(train)으로 설정해도 되는지 문의드립니다. 3. 시험볼때 f1_score, 정밀도, 재현율 등 여러가지 성능을 확인해봐야 되는지, 아니면 f1_score 하나만 확인해서 진행해도 되는지 문의드립니다. 3. 상위 코드 내용대로 풀어봤는데, 적정한지 검토 부탁드리겠습니다~^^
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요. 인프런과 시나공을 병행중입니다. 시나공 교재 제5회 기출 2과목에서 교재대로 train.describe(include='0') 을 쓰면 TypeError : data type '' not understood 이렇게 나오고요. 그래서 train.describe(include='object')로 쓰니 잘 실행되구요. 그래서 train.describe(include='object') 로 쓰고 검증 데이터 분할을 하는데 갑자기 또 train.describe(include='object') 여기가 에러가 뜹니다... 그래서 '0'으로 다시 바꿔도 안되구요.. 뭐가 문제일까요....
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
한가지 질문이 하나 더 있습니다. 마지막 결과 제출부문에서 하기와 같이 코딩을 했습니다. 'id'와 'income'을 컬럼으로 표현을 하고 제출하는것으로 짰는데요 혹시 감점이 발생할 수 있을까요? # pred = model_rfc.predict_proba(x_test_fin)[:,1] # print(pred) # pd.DataFrame({'ID' : x_ test.id , 'income' : pred}).to_csv('result.csv', index=False)
