[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3) 대시보드

다중분류 평가지표에 대해 안내해요💪💪💪

문제에서 요구하는 대로 평가지표를 사용하면됩니다.

만약 모르겠으면 알고 있는 평가지표를 편법으로나마 활용해주세요:)

F1스코어

• predict로 예측

• micro, macro, weighted

from sklearn.metrics import f1_score
f1_score(y_true, y_pred, average='macro')  # micro, macro, weighted

정확도 (이진 분류와 차이가 없음)

• predict로 예측

from sklearn.metrics import accuracy_score
accuracy_score(y_true, y_pred)

roc-auc

• predict_proba로 예측 -> 이진분류처럼 pred[:,1] ❌ pred 그대로 👌

• ovo, ovr

from sklearn.metrics import roc_auc_score
roc_auc_score(y_val, pred, multi_class='ovo')
roc_auc_score(y_val, pred, multi_class='ovr')

🆕 "lightGBM 활용" 영상을 추가했습니다.

• 범주형 데이터 인코딩 없이

• 결측치 처리 없이

• lightGBM은 사용가능합니다. :)

🆕 기출 5회 작업형1 영상 추가

• 코드만 있었는데 설명 영상을 추가했습니다.💪💪💪

작업형2 어떤 모델을 준비해갈 예정이세요?
1. 랜덤포레스트 분류/회귀
2. lightGBM 분류/회귀를 추천합니다.

lightGBM은
XGBoost와 함께 인기 있는 부스팅계열 모델입니다.
학습과 예측 속도가 XGBoost에 비해 빠릅니다.
영상 제작 당시엔 lightGBM을 지원하지 않았지만 지금은 시험환경에서도 사용 가능합니다.

XGBoost가 실행은 잘 되지만 간혹 워닝이 발생하네요. XGBoost대신 lightGBM을 준비하는 것을 추천해요

####### 분류  #######
import lightgbm as lgb
model = lgb.LGBMClassifier()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
# y_pred = model.predict_proba(X_test) #평가기준 roc-auc일 때


####### 회귀  #######
import lightgbm as lgb
model = lgb.LGBMRegressor()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

# 하이퍼파라미터 튜닝은 xgboost(작업형2 모의고사3 강의)과 동일하게 사용하면 됩니다.
# 예: max_depth=5, n_estimators=600, learning_rate=0.01

체험하기 - 작업형3 답안 제출 포멧이 공개 되었어요.

작업형3은 귀무가설을 기준으로 검정의 결과를 (채택/기각) 합니다.

체험하기 링크: https://dataq.goorm.io/exam/116674/%EC%B2%B4%ED%97%98%ED%95%98%EA%B8%B0/quiz/4

6회 실기 고사장이 공개되었어요!

1. 미리 고사장 후보 1, 2 선정한다.

2. 5월 22일(월) 10시 접수 시작과 동시에 접수한다.

수강 신청 만큼 힘든 건 전혀 아니지만
그래도 여러분들이 원하는 곳에서 시험을 응시했으면 하는 바램입니다.

시험마다 고사장이 변경되고 있어 비교는 어렵지만
예를들면 서울에서는 강남역 옆(10번)과 신촌역 옆(9번)이 가장 빨리 좌석이 사라지지 않을까 싶네요!
시설이 좋다기보다 역 옆이라 시험 시작 시간에 늦지 않고 도착하기 좋은 곳입니다 :)
경기도 지역은 고사장이 없었는데 이번에 수원도 고사장이 생겼네요!!

접수 일정 잊지 않도록 미리 캘린더에 등록하길 추천해요!

빅데이터 분석기사 실기를 혼자 준비하기 어렵다면 함께 공부해요!!
해당 스터디 모임은 인프런 강의와는 별개로 진행하는 모임입니다.
일반적인 스터디와 달리 매일 미션 수행이 없으면 정말로 제거(퇴장)되는 모임임을 기억해주세요 🙌
의지가 약한 분에게 강력 추천해요 :)

📌 모집기간: ~5. 21(일)까지 모집
📌 방식: 디스코드 활용 (매일 미션 제출)
📌 기간: 5월 15일(월) ~ 6월 24일(토)
📌 안내 및 참가: (마감)

혼자가 편하다면
https://www.kaggle.com/datasets/agileteam/bigdatacertificationkr 를 활용해 주세요!
이곳에 있는 내용을 활용해 모임에서 매일매일 풀어나갈 예정이에요!

[주의] 디스코드에서는 제게 질문을 해도 답을 드리진 않습니다. 수험생 간 질문과 답변을 하고 있어요 ~
제게 답변을 듣고 싶다면 인프런을 활용해주세요🙇🏼‍♂️

대응표본 문제일까요? 독립표본 문제일까요?

https://www.kaggle.com/code/agileteam/t3-ttest-ind/notebook

[풀이] 얼핏보면 전과 후으로 이해될 수도 있어 대응표본인지 독립표본 가설검정이 필요한지 헷갈릴 수 있는 문제입니다. 동일한 그룹을 대상으로 하는지 다른 그룹을 대상으로 하는지를 잘 살펴주세요!

작업형3 부분에 독립성검정(카이제곱) 강의 및 코드를 추가했어요!

제작중인 모든 작업형3 콘텐츠는 R결과 값과 비교하며 검증하고 있습니다.💪💪💪

합격 응원하겠습니다 :)

* 작업형3 콘텐츠는 변경 또는 보완될 수도 있습니다.

happyarche님이 23년 5월 6일 질문한 내용을 모두 알고있으면 좋을 것 같아서 공유 해요!

[질문 내용]

<ipython-input-25-475204a37c2b>:2: FutureWarning: The default value of numeric_only in DataFrame.corr is deprecated. In a future version, it will default to False. Select only valid columns or specify the value of numeric_only to silence this warning. X_train.corr()

X_train.corr()를 사용할 때 워닝이 뜨는데 어떻게 해결해야 하는 걸까요?

[답변]

📌 워닝을 완전히 해결하는 방법 : corr(numeric_only=True) 수치형 데이터만 사용하겠다는 의미입니다. 기본값은 (numeric_only=False) 입니다.

📌 발생하는 원인: 코랩 내 설치된 판다스 버전이 업데이트 되면서 해당 워닝이 발생하고 있음. corr()뿐 아니라 다른 함수에서도 위 워닝메세지에 포함이 되어 있으면 동일합니다. 워닝은 무시해도 됩니다만 해결방법은 알고 있는 것이 좋음

📌 시험환경에서는? : 시험환경(현 기준 버전)에서는 버전이 낮아 해당 워닝이 발생하지 않아요! 다만 시험에서 사용가능 라이브러리와 버전은 실기시험 직전에 공개하고 있어요

시험환경에는 코드힌트(자동완성)이 없는 것 알고 계시죠?
코랩에서도 그렇게 연습할 수 있어요 :)

🔥 코랩 - 설정 - 편집기 탭 - "코드 완성 제안을 자동으로 표시" 해제

다만 추천하는 방향은 문제를 풀 정도의 수준이 될 때까지는(강의를 모두 수강할 때까지는)
코드힌트를 사용하는 것을 추천드립니다. 처음부터 사용하는 것도 좋지만 학습 속도가 느려질까 우려돼요!! :)

오늘도 응원합니다. 👏👏👏

안녕하세요! 5회 기출유형 작업형 1과2 코드과 데이터를 업데이트했습니다.
노트북과 데이터를 먼저 공개하고 작업형1 영상은 곧 추가할 예정입니다.

5월까지 커리큘럼 업데이트가 계속 진행될 예정입니다.
다소 혼란스럽더라도 시험에 대응하고자 함이오니 양해 부탁드립니다.
🔥가 붙어있는 콘텐츠는 신규 추가 또는 업데이트된 콘텐츠입니다.
커리큘럼 변경으로 인한 혼란을 최소화하고자 하단에 신규 콘텐츠는 섹션8과 섹션10에 집중할 예정입니다.

여러분의 "합격" 응원하겠습니다🤗

빅데이터분석기사 실기시험의 출제유형이 변경되었습니다.

변경내용 : 기존 단답형 10문제를 작업형 신규 유형인 '작업형 제3유형'으로 대체
변경시기 : 제6회 빅데이터분석기사 실기시험(2023.06.24)부터 적용

작업형3 섹션을 추가 하였고, 예시문제부터 준비 콘텐츠를 하나씩 만들어갈게요!
곧 디스코드도 열도록 하겠습니다.

모두들 화이팅 입니다.