회귀, 분류 모델에서 하이퍼파라미터 튜닝 시 random_state를 이용하는데, 이 random_state 역할이 '회귀, 분류 모델에서 매번 코딩 실행 시 동일한 학습용 데이터셋을 생성하여 동일한 결과를 출력하게 한다'가 맞는 걸까요?

안녕하세요, 덕분에 재미있게 빅분기 실기 시험 준비 중입니다 : )범주형 변수의 unique 수가 train 데이터셋과 test 데이터셋에서 서로 다를 때, 원핫인코딩을 진행하게 되면 Feature의 수가 다르므로 일치시키기 위해... train 데이터셋과 test 데이터셋을 먼저 concat으로 합친 후에 원핫인코딩을 진행하고 분리하는 것으로 이해했습니다!기존 질문과 답변주신 것들을 살펴보니, get_dummies() 사용 시, 자동으로 범주형 변수만 선택하여 원핫인코딩하고 전체데이터를 반환하므로 X_train 데이터를 사용해도 무관하다고 하셨는데요~  수업에서는 all_df = pd.get_dummies(all_df[cols])로 작성하니 범주형 변수 cols에 해당하는 데이터만 원핫인코딩되어 전체데이터가 아닌 범주형 변수의 원핫인코딩 결과만 all_df에 담기게 되는 것 같습니다.  말씀주신 것처럼, 자동으로 범주형 변수만 원핫인코딩하고 전체 데이터를 반환하기 위해서는, 이 코드를 all_df = pd.get_dummies(all_df)로 바꾸어야 되는게 맞는건가요?

작업형2 모의문제1 - 29:00 경 pred 값 할당할 때, predict_proba 를 사용하는 이유는roc_auc 값을 구해야 하기 때문인가요?roc_auc 값 외에도 다른 평가지표들이 있는데 그냥 predict를 사용하면 안되는지 문의드립니다. 감사합니다. 

안녕하세요, 코린이입니다문제가 age 컬럼의 이상치를 제거하고 제거전후 views 컬럼 편차를 구하는거고..age 컬럼 이상치를 제거하면 views 컬럼에 있는 age 이상치 행도 같이 날라가나요 ? 그래서 제거전후 편차를 구하게 되는걸까요 ? import pandas as pd df = pd.read_csv("members.csv") r1 = df['views'].std() cond = df['age'] <= 0 # print(df.shape) df = df[~cond] # print(df.shape) # print(df.shape) cond = df['age'] == round(df['age'],0) # 소숫점 나이 구하기, 반올림 했을 때 같으면 정수형 , 다르면 소수점 df = df[cond] # print(df.shape) r2 = df['views'].std() print(round(r1 + r2, 2))

from statsmodels.formula.api import ols과 summary만 사용해서 회귀계수, P-value값 등을 읽을 줄만 알아도 시험문제를 푸는데 문제없을까요?

선생님 저는 왜 false/true 값으로만 나올까요?수업 자료 코드에 있던거 그대로 실행 했는데도..display(c_train.head()) c_train = pd.get_dummies(c_train[cols]) c_test = pd.get_dummies(c_test[cols]) display(c_train.head())

케글 T1-3 연습중인데 아래와 같은 오류가 발생하는데 어떻게 해결할 수 있을까요? maximum recursion depth exceeded while calling a Python object 

예시는 9번문제로 질문을 하지만 9번문제 뿐만아니라 다른 문제를 풀이하는데 있어서 괄호 사용이 헷갈려서 질문드립니다.대충 대괄호하나는 시리즈로 불러오는거고 대괄호 2개는 데이터프레임으로 불러오는걸로 알고있었습니다. 그런데 문제를 풀면서 왜 groupby함수나 sort_values함수를 포함한 기타 다른경우에 소괄호안에 대괄호없이 컬럼명만 사용해도 되는지 궁금합니다. 컬럼명을 쓸때 대괄호를 써야할때와 필요없을때의 구분을 어떻게 해야할까요?import pandas as pd df = pd.read_csv('/content/drive/MyDrive/Colab Notebooks/members.csv') df['subscribed'] = pd.to_datetime(df['subscribed']) df['year'] = df['subscribed'].dt.year df['month'] = df['subscribed'].dt.month df['day'] = df['subscribed'].dt.day df = df.groupby('month').count() df.sort_values('subscribed').index[0]

.

수업을 들으면서 강사님께서 캐글에 있는 데이터와 함께 전처리 문제들을 올려놓으셨다고 하셨는데 제가 찾지를 못하겠습니다.주소를 알려주시면 들어가서 열심히 공부하겠습니다.

안녕하세요!작업형2의 데이터 전처리 스케일링 관련하여 문의사항이 있어 질문 남깁니다.카테고리형 데이터의 경우, 라벨 인코딩, 원-핫 인코딩을 사용하고,숫자형인 경우, 표준화, 정규화를 사용하는 것 같은데, 각각의 기법을 언제 사용하는지 궁금합니다!데이터 타입별 기법들의 차이는 이해했는데, 어떤 경우에 어떤 기법을 선택해서 사용해야 하는지 문의드립니다. 감사합니다. 

[작업형2] 3-5 Classification 에서 랜덤포레스트 따라서 하고 있는데요, 한번에 쭉 따라할때는 에러없이 실행되다가집에와서 다음부터 이어서 들으려고 파일 업로드하고 이전 셀 실행 하니깐 에러가 뜹니다.. 왜그럴까요..에러 내용은 갯수가 안맞다고 하는데 왜 안맞는걸까요....?

수업 내용 중 RandomForestRegressor를 사용한 경우 regressor = RandomForestRegressor()로 정의하셨는데, 뒷문장들은 model.fit(X_tr,y_tr)pred =model.predict(X_val)로 들어가있어요.오타가 맞는걸까요?regressor로 정의했기 때문에 regressor.fit(X_tr,y_tr)pred =regressor.predict(X_val)이 맞는거죠?

이제 막 2유형 공부중인데, 궁금한점이 있습니다.2유형의 경우에는 답이 없는 문제인 것 같은데,시험에서 요구하는 제출형식(인덱스 제거, 파일명 맞추기 등)에서 감점되는 것 외에 감점요소가 있을까요? 2유형 만점을 목표로 하고 있는데, 최소로 확보해야하는 성능이라던지의 최소치? 등이 있는 문제인지가 궁금합니다!

 5-2 type2 문제 (에어비앤비 가격) 문제에서는 pred = model.predict(test) 를 사용하는데5-3 type3 문제 (심장마비 확률) 문제에서 랜덤포레스트를 사용할 경우에도 pred=model.predict_proba(test)를 사용하나요? 평가지표에 roc-auc가 있으면 무조건 pred=model.predict_proba(test)로 예측한 후 DF변환을 해야 하나요? 아님 다른 기준이 있나요?

안녕하세요모델 검증 없이 그냥 xgboost 등 1개의 모델로만 예측하고 제출해도 무방한가요?

안녕하세요.모델링 및 평가(분류) 편 강의 보다가 문의드립니다.평가를 할 때 y_test 데이터가 등장하는데요. 실제 문제를 받을 때는 y_test데이터가 없었는데,accuracy score를 매겨보는건 제가 시험환경에서 해야 할 작업은 아닌걸까요 ?

학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요작업형1 모의문제 3 하려는데 data.csv 파일이 아닌 members.csv 파일이 받아집니다.어디서 받을 수 있나요?

정말 기초적인 것일거 같은데 데이터 수 출력할때 len과 sum을 활용하는데 어떨때는 sum으로 해야 답이 나오고 어떨때는 len으로 해야 답이 나오는데 언제 써야 하는지 정확히 이해가 안되요. 문제2) 주어진 데이터에서 결측치가 30%이상 되는 컬럼을 찾고 해당 컬럼에 결측치가 있는 데이터(행)를 삭제 함.그리고 30% 미만, 20% 이상인 결측치가 있는 컬럼은 최빈값으로 값을 대체하고'f3'컬럼의 'gold' 값을 가진 데이터 수를 출력하세요! import pandas as pd df = pd.read_csv('members.csv') # print(len(df)*0.3) df.isnull().sum()# f1 삭제, f3 최빈값 대체 df = df.dropna(subset=['f1']) df['f3'] = df['f3'].fillna(df['f3'].mode()[0]) df.isnull().sum() print(len(df['f3'] == 'gold'))print(sum(df['f3'] == 'gold'))이때 len으로 하면 답이 69개가 나오고, sum으로 하면 56개가 나오는데 답은 sum으로 할때 맞더라구요.

수업에서 X_train 결측치 채울때, X_test도 같이 채우라고 설명해주시면서 예제에오브젝트 ['workclass'] 같은 것들은X_test['workclass'].mode()[0] 로 X_test의 최빈값으로 채우셨는데요 수치형 ['age] 같은 것들은 value 변수 따로 정의하면서value = int(X_train['age'].mean())로 X_train의 평균값으로 채우셔서요test데이터는 데이터 타입별 어떤 데이터로 결측치 채워야 하는지 궁금합니다.