173만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
mae 평가 방법은 정상 작동하는 걸 확인했는데, rmse를 제가 잘못 작성한건가요? 아니면 캐글에서는 아직 안되는 걸까요? 만약 작성이 옳은거면 저대로 시험에서도 사용할 예정이고 그렇지 않다면, 함수식을 그냥 외워가야 하나 싶어서요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
17:13 부분 궁금해서 물어봅니다. 이미 pd.concat으로 데이터를 합쳤는데... 학습과 검증데이터를 나눌때 X_train, y_train 나눠서 작업해야 하나요? X_train['Reached.on.Time_Y.N']으로 하면 안되나요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 캐글 필사 전략 강의를 수강하며 캐글에서 타이타닉 문제를 풀어보고 있는 중인데 궁금한 점이 있습니다. 살아남은 여성의 확률을 구할 때 women = train_data.loc[train_ data.Sex == 'female']["Survived"] rate_women = sum(women)/len(women) print("% of women who survived:", rate_women) 이 코드를 작성하는데 여기서 sum(women)의 값과 len(women)의 값이 왜 다른지 궁금합니다. sum의 경우에도 살아남은 여성의 수를 계산하고 len의 경우에도 리스트의 개수를 리턴하기 때문에 동일한 값이라고 생각했습니다. len함수와 sum 함수의 차이가 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 선생님, 회귀문제(ex. RandomForestRegressor)를 풀 때 범주형 변수에 대해 LabelEncoder를 사용해도 되나요? 아니면 pd.get_dummies만 가능한가요?
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
다중회귀와 다중선형회귀 공식이 틀린거죠? 다중회귀 import statsmodels.stats.api as sm 다중선형회귀 from statsmodels.formula. api import ols
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
3유형에서 가장 큰 회귀계수를 구하라 하면 const도 포함인가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
train과 test의 컬럼이 서로 다른경우가 시험에서 발생하는 경우가 잇나요? 이럴때는 train과 test의 교집합에 없는 컬럼들은 제 생각으론 삭제하는것이 어떤 처리방법보다 좋은것 같은데요 (train에만 잇다면 삭제하는게 test에 좋을것이고 test에만잇다면 train이 모델 훈련해도 해당 test컬럼과는 관련이없고) 제 생각이 맞나요? 또한 하나의 공통 컬럼에서 서로 교차하지않는 서로다른 데이터가 존재한다면 라벨이나 원핫인코딩을 진행할때 둘다 반드시 합쳐서 인코딩을 진행하고 분리해야하나요?
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 강의 들으면서 코드 똑같이 타이핑해서 결과값 확인 하는데요 머신러닝 돌리고 나서 정확도, 정밀도 F1 score, roc-auc 같은 결과값이 강의랑 조금 다르게 나오는데 (예를 들어 강의에서는 baseline 이 라벨인코딩보다 정확도가 더 높은데 제가 코드 돌렸을 때는 라벨인코딩이 조금 높게 나온다던지,,) 똑같이 코드를 작성해도 학습했을 때 다르게 나올 수도 있는거죠..? (여러번돌린값X) random_state 나 test_size 도 강의랑 똑같이 설정했는데도요!
미해결
실전! 머신러닝/딥러닝 이상거래 탐지 마스터 클래스
VAE 실습파트 질문있습니다. VAE 모델 loss 계산하는 부분에서 ValueError: A KerasTensor cannot be used as input to a TensorFlow function. A KerasTensor is a symbolic placeholder for a shape and dtype, used when constructing Keras Functional models or Keras Functions. You can only use it as input to a Keras layer or a Keras operation (from the namespaces keras.layers and keras.operations ). You are likely doing something like: ``` x = Input(...) ... tf_fn(x) # Invalid. ``` What you should do instead is wrap tf_fn in a layer: ``` class MyLayer(Layer): def call(self, x): return tf_fn(x) x = MyLayer()(x) ``` 해결이 안되고 있습니다. 버전이 달라져서 오류가 생긴듯한데, 버전이나 해결방법 부탁드립니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
submit 생성 과정에서 어떤 오류인지 모르겠습니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
target = train.pop('total') target 이때는 () 중괄호를 쓰고 train['total'].describe() 이때는 []쓰는 이유가 뭘까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
roc_auc_score(y_val, pred) 하였는데 ovo, ovr 오류 발생했습니다. 어떤 오류인가요
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
한 가지 방법으로 풀기로 문제를 풀었을 때는 ID 값이 없는데 Pred 값만 제출해도 되는걸까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
Labels in y_true and y_pred should be of the same type. Got y_true=[0 1] and y_pred=['0' '1']. Make sure that the predictions provided by the classifier coincides with the true labels. 이런 문장이 뜨던데 accuracy_score(ans, pred) 중 pred가 numpy.ndarray 배열이 된 것 같거든요.. 잘 따라한 것 같은데 선생님이 한건 바로 accuracy_score를 바로 볼 수 있고, 제거는 못보여 지네요.. pd.DataFrame(pred) 사용해서 해결하긴 했는데,, numpy배열로 바뀐 사유가 궁금합니다. y_train['income'] = y_train['income'].str.replace(">50K", '1') y_train['income'] = y_train['income'].str.replace("<=50K", '0') y_train['income'].astype(int) from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier() rf.fit(X_train[list], target) pred = rf.predict(X_test[list]) submit = pd.DataFrame( { 'id' : X_test['id'], 'income' : pred } ) submit.to_csv("1111.csv", index = False) y_test.head() (y_test['income']=='>50K').astype(int) from sklearn.metrics import accuracy_score y_test = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/main/p2/data_atype_y/y_test.csv") ans = (y_test['income'] == '>50K').astype(int) pred = pred.astype(int) accuracy_score(ans, pred)
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
(y_test['income']=='>50K').astype(int) 로 코딩하면 바로 0 혹은 1의 값으로 바로 변경되던데요. 만약 3개 이상의 target 값이 있을경우 astype(int) 하게되면 0, 1, 2 로 3개가 생기는 걸까요?
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 6회 기출문제 3번을 풀다가 궁금한점이 생겨서 문의 드립니다. 아래와 같은 데이터가 있을 때 '날짜'와 '경찰서 명'은 object 입니다. 위 데이터에서 '강력범죄' 부터 '교통범죄'까지 데이터를 행으로 총합을 구할 시에 아래와 같이 iloc를 설정을 한다고 풀이와 강의에 나와있습니다. df['총범죄건수'] = df.iloc[:, 1 : -1].sum(axis =1) 여기에서 iloc 에서 '-1' 이라고 설정하는 것은 제일 끝 열까지 설정하는 것이 아닌지요? 그러면 '경찰서명'까지 선택이 되어야하는데 로그를 찍어보면 '강력범죄'~'교통범죄'까지 나오는 것을 확인할 수있습니다. 강의에서는 iloc는 0부터 세기 때문에 바로 전까지 값의 열이 선택된다고 알려주셨고, -1로 하면 끝의 열을 나타내는 것이고 -2를 하면 끝열 바로 전 열을 선택하는 것이라고 알려주셔서 알고있습니다. 그런데 위에 데이터에서는 왜 -1을 해도 '경찰서명'까지가 안나오는 것인지 문의드립니다.
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
한 셀에 푸는 연습을 하고 있는데 갑자기 KeyError : 'TravelInsurance'가 뜹니다. 왜일까요? 그리고 시험장에서 한 셀에서 모두 실행할 때 전처리 작업 모두 print()붙이면서 각각의 값을 도출해야하는지 print없이 값만 확인해도 되는지 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
위와 같이 작성해주신 코드를 보는 중 의문이 생겨 질문 남깁니다! train 데이터를 전처리할 때에는 train데이터의 최빈값, 중앙값, 평균으로 결측치를 대체하는데 반해, test 데이터 전처리 시 범주형 데이터는 test 데이터의 최빈값으로 대체/ 수치형 데이터는 train 데이터의 평균, 중앙값으로 대체하고 있습니다. 왜 test 데이터 처리 시 train/test 데이터 모두 다 사용하나요? 일관성 있게 하나만 사용해서는 안되는지 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
df.groupby(['city','f2']).sum().reset_index() 이 코드문을 작성했을떼 id, f3과 같은 문자열 데이터도 같이 들어가서 선생님께서 하신 코드와 다르게 나옵니다. 그래서 따로 숫자형 데이터만 묶어서 그룹을 만든 다음 해결을 하긴 했는데, 선생님과 똑같이 했을땐 왜 같게 안나오는건지, 버젼이 바뀐건지 궁금해 여쭤봅니다
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요, 독립표본검정 시 정규성을 만족하나 등분산성을 만족하지 않는 경우 equal_var = False라는 파라미터를 추가한다고 가르쳐주셨는데요, 분산분석에서도 정규성은 만족하였으나 등분산성을 만족하지 않는 경우 추가해야 하는 조건이 있는지 문의드립니다. 학습에서 정규성을 만족하지 않을 경우 kruskal-wallis 비모수검정을 활용한다고 말씀해주셨는데, 등분산성을 만족하지 않는 경우는 설명이 되지 않은 듯 해서요.
