안녕하세요~지난 6회 실기 떨어지고.. ㅜㅜ 이번에 7회 재도전하는 수험생입니다~ 여러 유튜브 강의를 들어보았으나 퇴근후딴짓님 강의가 제일 저랑 잘맞는것 같아서 인프런에서 수강하고 있습니다. 강의를 계속 듣다 보니 추가적으로 업데이트 되는 강의도 많고 섹션 17(3유형)은 곧 삭제 예정이라고 하는데 섹션17은 꼭 볼 필요는 없는건가요? 아직 초반 듣고 있어서요.. 다음은 공부 방향에 대한 질문입니다..지난 6회는 3유형이 신설되었고 비전공자 직장인이라 충분한 연습을 못하고 갔습니다. 1유형은 하필 datetime 변환 문제가 시험장에서 기억이 안나서 2문제 날려버렸고.. 2유형은 베이스라인 외워서 전처리부터 모델링까지 다했음에도 10점 나오더군요.. ㅠㅠ 3유형은 유튜브에 여러 무료 강의와 데이터진흥원의 샘플 문제를 여러 차례 연습했음에도 달랑 1문제 맞은 것 같아요..많은 좌절감을 느끼며 이번에는 최대한 잘 준비해서 꼭 합격하고 싶습니다. 이번 퇴근후딴짓 커리큘럼만 잘 이해하고 숙지하면 충분할까요? 긍정의 에너지와 격려 말씀부탁드립니다~

데이터 전처리시 범주형(object)이면 라벨 or 원핫 인코딩수치형(int or float) 이면 민맥스스켈러 or z스켈러인데 타겟값이 범주형인가 수치형인가에 따라 전처리 방법을 다르게 하는건가요 아니면타겟값과 상관 없이 문자형, 수치형 둘다 해보는건지 또는 문자형 or 수치형 중에 아무거나 해도상관없는건지 궁금합니다! 또 어떠한 경우에 라벨, 원핫, 민맥스스켈러, z스켈러를 사용하는지도 궁금합니다! ex) 작업형2번 모의문제 1번에서는 타겟 값이 수치형 이지만 전처리시 민맥스스켈러 혹은 z스켈러를 이용하지 않고 문자형컬럼을 제거하거나 라벨, 원한 인코딩을 한 이유가 있을까요?타겟값이 범주형이기 때문에 그런건가요..ㅠㅠ파이썬이 처음이라 개념이 잘 안잡혀 있어서 헷갈리네요 ㅜㅜ 

df.to_csv('data2.csv', index=False)를 할 때 인덱스를 제외하고 저장을 한다면, to_csv 후 이를 다시 read_csv를 해서 불러왔을 때 데이터프레임 내의 record들의 순서는 바뀌지 않고 고정인가요?  SQL을 사용할 때는 Select를 할 때 record의 순서는 계속 바뀌던데 판다스에서는 특별히 조작을 하지 않는 이상 record들의 순서는 바뀌지 않는 것으로 이해하면 될까요? 

3유형 업데이트 강의 대략 몇월 언제정도에 출시될 계획이신지 공유해주시면 매우 도움이 될 것 같습니다 ㅠㅠ 그리고 기존 버전의 3유형 강의만 충실히 소화해도 시험 합격하는 데에는 무리가 없는지도 궁금합니다. 감사합니다!

항상 좋은 강의 감사드립니다 :)3유형 업데이트 일정을 알고 싶어 남겼습니다.감사합니다!

가설 검정 과정 강의에서 가설검정 오류 부분에 일반적으로 1종 오류를 2종 오류보다 더 중요하게 생각함 이라고 적혀있습니다.강사님 강의 내용에서는 2종이 더 심각하게 받아들여진다 라고 말씀주셨는데,두 개 중 어떤 부분이 맞는건가요?

안녕하세요 강사님먼저 좋은 강의 만들어주셔서 감사드립니다.빅데이터 관련 영역을 조금씩 배워나가고 싶어 강의를 신청하게 됐습니다. 다름이 아니라 혹시 강의 영상 혹은 수업 관련 자료중 필요한 부분을 캡처해서 제 개인 티스토리 블로그에 올려도 되는지 여쭙고자 글을 작성했습니다.다른 분들과 공유보다는 스스로 복습하는 용도로 글을 작성하는 목적이 크지만 인터넷에 올라오는 내용인 만큼 먼저 허락을 구하고자 합니다.상업적인 목적은 없으며 블로그 광고 연동도 신청하지 않을 것입니다.만약 혹시라도 하게 된다면 다시 한 번 말씀드리겠습니다.만약 캡처 사진을 올리는게 불가하시다면 비공개 처리하여 공유 및 열람이 안 되도록 조치한 후 저 혼자만글을 읽을 수 있도록 하겠습니다.감사합니다.

안녕하세요. 이번 12월달에 있는 빅데이터분석기사 실기 시험을 준비중인 학생입니다.비전공자에다가 파이썬을 이번 강의 수강하면서 처음 접해봤는데 강의만 열심히 듣고 따라해도 합격하는데 있어서는 문제가 없을까요?!그리고 강의 수강하면서 궁금점도 있습니다.문자변경시에 replace를 사용해서 하는 경우는 df = df.replace('아메리카노','룽고') 이런 식으로 df= <-이부분 에다 대입해서 하시고 loc를 사용하신 경우에는 df= 을 적지 않고 바로df.loc[3,'원두'] 를 사용하셨는데 df= 에다 대입하는 경우의 차이가 있을까요? 그리고 '' , "" (작은 따옴표, 큰 따옴표)는 문자 사용 시 아무거나 사용해도 괜찮나요?  

개정 시험 반영된 것 맞나요?

더운여름 잘 지내시는지요?새롭게 추가된 작업형3 유형과 1유형 통계 관련 또는 6회 기출 풀이 영상 강의 추가 계획은 없으신지요?

제목 그대로입니다.ipynb 파일 url이 따로 소개가 되지 않아서 질문드려요

제가 작년 10월에 필기를 합격하고, 첫 시험은 회사를 다닌다고 바뻐서 제대로 준비를 못했고 재수인 한달전 시험때는 대학원생 신분이 되어 너무나도 바쁘고 새로운 유형이 생겼는데 제대로 준비를 못하고 들어가서 떨어졌습니다. 시중에 나온 실기책 한권을 구매하여 보긴했으나, 구성도 엉망이고 별로여서 이대로는 잘못하다가 실기 2년 기한이 날아가버릴꺼 같아서 첨으로 빅분기 유료강의를 결제하였습니다. 데이터 진흥원 샘플문제에도 없던 회귀문제가 기출이 되었었는데, 제가 아직 강의를 듣진 않아서 다루시는지는 모르겠으나 향후 12월 시험전에 충분한 업데이트는 해주실 계획이시겠죠? 강의수를 보니 컴팩트하고 수강평도 보니 합격하신분들이 많아 신청하였습니다. 막상 시험장만 가면 2유형같은 경우에 머릿속에는 어렴풋히 프로세스가 있으나 막상 타이핑으로의 출력이 안되고, 1유형인 판다스도 매번 공식 cheatsheet를 찾아서 쓰는지라 익숙하지가 않은것 같습니다. help()함수를 써도 예시가 예상과는 다르게 나와서 활용을 못했던거 같아요. 기초부터 차근차근 강의대로 믿고 착실하게 따라 갈게요ㅠ 잘 부탁드리겠습니다

학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요동영상: 26:30안녕하세요 trainset에서 tr, val 분류한 후 모델 설정 후 testset으로 roc_auc_score 평가를 하려고 함수를 적용했는데요pred의 행의 수와 test_set 행의 수가 다르다는 오류가 떠서요.선생님께서는 roc 평가를 할때 X_test[cols] 데이터와 X_val을 사용한 예측결과인 pred[:1]을 사용하셨는데 저는 그럼 행의 수가 다르다는 오류가 뜨네요ㅠㅠㅠ# XGBoost from xgboost import XGBClassifier xgb = XGBClassifier() xgb_fit = xgb.fit(X_tr[cols],y_tr) xgb_pred = xgb.predict_proba(X_val[cols]) from sklearn.metrics import roc_auc_score roc_auc_score(y_val,xgb_pred[:,1])# 평가 데이터로 예측 및 csv파일 생성 summit = pd.DataFrame({ "id" : X_test['id'], "income" : xgb_pred[:,1] }) summit.to_csv("1111.csv",index=False) ##############위 코드 작성으로 생긱 오류부분################ ValueError: array length 2931 does not match index length 3257  

안녕하세요 강사님 오늘 시험 작업형2를 풀고 f1-score로 확인하려고 하는데 오류가뜨더라구요from sklearn.metrics import f1_score다했거든요 오류 내용이에버리지를 뭘 선택해라 라고 뜨더라구요(macro, None, 등등에서 택해라) 이런식으로 뜨던데 average =“macro” 써줫어야햇나요? 강의들을때는 저문구 안써도 됏던거같아서요csv 제출은 형식에 맞게했는데 검증을 못해서 불안하네요 ㅠㅠ

안녕하세요 강사님,오늘 빅분기 6회 실기 시험을 치르고 나왔는데요 (생각보다 어려웠네요 ㅠ) 빅데이터 분석기사 2유형의 0점유형에'예측값 정확도가 평가지표 최저 구간 미만 : 0점' 이라고 적혀있는데,'평가지표 최저 구간'이라는 의미가 어떻게 되는지 알 수 있을까요? 분류 문제가 나와서 처음에는 RandomForestClassifier로 예측했고,요구하는 평가지표(f1-macro)로 돌려봤더니 train 데이터에서 분리(train_test_split)한validation 데이터 0.9이상이 나와서 과적합인 것 같아서강사님께서 얼마전 알려주신 lightgbm으로 바꾼 다음에 하이퍼파라미터 수정해보니0.8정도 나와서 분류 예측 후 제출하였습니다. 그런데 빅데이터 관련 카페 글 보니, 대부분 랜포로 돌린다음에 0.9이상인 상태에서분류 후 제출했다고 하네요 그러면서 빅데이터 카페에 어떤 분이 train 데이터에서 분리한 train 과 validation 데이터모두 평가지표가 높게 나오면 과적합이 아니라는 얘기를 들었습니다...ㅠ 평가지표 최저 구간이라는 의미가 각 모델의 하이퍼파라미터를 건드리지 않고그냥 모델을 예측했을 때의 평가지표 일까요? (예를 들면 LGBMClassifier의 하이퍼파라미터 없는 상태에서 0.9면 기준이 0.9가 되는건지...)이게 맞다면 저는 0점이겠네요..ㅠ, lightgbm도 아무런 하이퍼파라미터 없이는 0.9이상이였거든요.. 무튼, 덕분에 많은 것들 배울 수 있어서 감사했습니다! +글 작성후 추가구글 Bard 한테 물어봤더니... train, validation 데이터 모두 0.9 이상 인 경우 과적합으로 볼 수 있냐는 질문을 했더니 아래와 같이 답변이 나오기는 했네요..<답변>네, train 데이터와 validation 데이터 모두 해당 모델에 대한 평가지표가 0.9인 경우에도 과적합이 발생할 가능성이 있습니다. 과적합은 모델의 복잡성이 너무 높아서 train 데이터에만 적응하는 상태를 말합니다. train 데이터와 validation 데이터 모두 해당 모델에 대한 평가지표가 높다는 것은 모델이 train 데이터에 너무 적응하여 그 외의 데이터에는 제대로 대응하지 못하는 상태일 가능성이 높습니다.

시험 전에 여쭤봤어야 하는 질문인데 뒤늦게 여쭤보네요 Train test split 사용하여 tr 과 val 로 나누어서 model.fit 하여서 f1 score 확인 하였고그 이후에 test 를 바로 predict 하여 제출 하는게 아니라혹시 Tr 과 val 을 나누기 전의전체 train 데이터로 다시 fit 시켜서그 모델로 Test 데이터 를 predict 해도 되는지 궁금 합니다   

6회 시험 1 유형 1번타임델타 사용 질문입니다_m_s로 분과 초를 추출했는데위쪽에 위치한 프린트문 주석처리 여부에 따라아래쪽에 출력한 저의 답의 결과가 달랐습니다 ㅠ뭐가 문제였을지 궁금합니다 ㅠ참여데드라인 넘기고 공부시작하는바람에캐글 오징어게임 톡방에도 못들어가서 이런 얘기 여쭤볼데가 없네요 ㅠ시험중 1대1문의에 물어보니 첨엔 컴퓨터 오류 아니라구 하다가 재차 물어보니 해당내용 확인중이라고하구 그냥 답을 제출하라그래서 찾은 답을 프린트하는 하드코딩으로 제출했습니다 ㅠㅠㅠ 흑....0점 처리되는거 아닌지 걱정되네요

무슨 에러인가요?

train 데이터를 별도 분리안하고 범주형은 라벨 인코더로 스케일링하고나서 수치형데이터도 값이 큰건 minmaxscaler나 robustscaler로 적용하고 싶어서 개별 컬럼 선택해서 적용해보는데... 에러가 뜨는데 머가 문제인지 알수 있을까요?수치형 범주형 개별로 스케일링 하고 싶으면 데이터를 분리했다가 다시 합쳐야 하는 걸까요?train['Total_Trans_Amt'] = scaler.fit_transform(train['Total_Trans_Amt']) test['Total_Trans_Amt']=scaler.transform(test['Total_Trans_Amt'])

안녕하세요 드디어 내일이네요작업형 3유형이 어떻게 나올지 몰라 조금 걱정이 되면서 이것저것 다시 복습하고 있었는데,가설검정을 하기 위한 전제 조건으로는데이터의 정규성과 등분산을 검정 해야 한다고 알고 있습니다. (shapiro, levene)이 때 도출 된 p값이 유의수준(알파) 보다 높아야 귀무가설이 채택되며 가설검정을 할 수 있는데,작업형 예시 3유형 쌍체표본(ttest_rel) 검정 시, 강의영상에는 뮤값(이후혈압 - 이전혈압)에 대해따로 검정(정규성, 등분산)을 안 하셨던데 정석대로라면 해야 하는게 맞는건가요?(당연히 문제에는 가설검정이 진행을 할 수 없도록 문제는 내지 않겠지만요) 만약 정규성과 등분산 검정해서 귀무가설이 기각 되면 (정규성이나 등분산을 만족하지 못하면),어떻게 진행을 해야 할까요? (윌콘슨 검정 등을 통해 진행 해야 하는건지요?) 첫 유형이라 예시문제 정도 수준으로 나올 것 같긴한데, 준비를 하면 할 수록 더 걱정이 되네요 ㅎ