172만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
범주형 데이터를 Feature engineering 할때 train과 test가 같은 피처의 범주가 다를 경우 합친 후 get_dummies를 통해 한번에 진행해주셧는데요. 만약에 LabelEncode로 진행할 경우 Train에서는 fit_transform 을 하고 test에서 transform 만하는데 all_df로 합친후 어떻게 하면 되나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
df = df['month'].value_counts() 이런식으로 values_counts로 구하는 방법이 있을까요? 또 빅분기 실기 시험 채점(?) 방식에 대해서도 궁금한게, 저런식으로 value_counts()를 하면 정답이 바로 눈에 보이잖아요! 그럼 그 정답을 바로 print(11)로 해도 인정이 되는지 궁금합니다
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 5분 14초에서 train=df.iloc[:210]에서 뒤에 .copy() 안붙여도 되나요? train=df.iloc[:210] test=df.iloc[210:]
미해결
재고시스템으로 알아보는 동시성이슈 해결방법
안녕하세요. 올려주신 강의를 보고 따라하다가 에러가 발생하여 질문드립니다. 모든 테스트는 정상으로 떨어지나, LettuceLock 테스트만 에러가 발생을 하네요... 제가 디버깅 했을 때는 public Boolean lock(Long key) { return redisTemplate .opsForValue() .setIfAbsent(generateKey(key), "lock", Duration.ofMillis(3_000)); } 해당 부분이 키를 갖고 오지 못하는 거 같은데, 해결 방법이 있을까요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
from statsmodels.formula.api import ols formula = "temperature~solar+wind+o3" model = ols(formula, data=df).fit() print(model.summary()) 위는 유의수준 기본값이 0.05인 거죠? 그렇다면 유의수준 0.01로 분석할때 어디서 설정을 해줘야 하나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 3회 2유형으로 lightGBM을 활용해 봤는데요... 에러가 나와요
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
공부하다보니 statsmodels ols 해석 관련해서 헷갈리는 부분이 있습니다. statsmodel로 ols 모델 만들어두고 model.summary()로 해석하거나 anova_lm(model)로 해석할 수 있던데, 두개의 차이점이 뭔가요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
캐글에 올려주신 자료 중 T1-23 문제를 풀고 있습니다. f1컬럼에서 10번째로 큰 값을 찾는 중에 질문이 생겨 질문 드립니다! 실제로 f1을 소팅해서 보면 중복값이 있어 10번째로 큰 값이 86인데 선생님 풀이에는 소팅해서 10번째에 있는 값인 88로 대체하셨더라고요 실제 값에 관계없이 10번째에 위치한 값으로 대체해도 되는 건가요? 선생님 풀이) # f1데이터에서 10번째 큰 값으로 결측치를 채움 top10 = df['f1'].sort_values(ascending=False).iloc[9] print(top10) df['f1'] = df['f1'].fillna(top10) 결과) 88.0 실제 값 소팅 결과) print(df.sort_values('f1',ascending=False).head(15)) id age city f1 f2 f3 f4 f5 56 id57 3.0 대구 111.0 0 NaN ISFJ 29.269869 7 id08 38.0 서울 101.0 1 NaN INFJ 83.685380 57 id58 0.0 대구 100.0 2 NaN ESTP 33.308999 73 id74 45.0 경기 98.0 0 NaN ESTP 52.667078 71 id72 8.0 경기 97.0 0 NaN ESTJ 97.381034 69 id70 -9.0 경기 96.0 1 NaN ISTP 48.431184 77 id78 92.0 경기 96.0 1 NaN INTJ 69.730313 32 id33 47.0 부산 94.0 0 NaN ENFJ 17.252986 48 id49 75.0 대구 88.0 0 NaN INTP 37.113739 44 id45 97.0 대구 88.0 0 NaN ENFJ 13.049921 17 id18 41.0 서울 87.0 2 NaN ISFJ 80.138280 62 id63 88.0 경기 86.0 1 NaN ISFJ 73.586397 68 id69 75.0 경기 85.0 0 NaN ESTJ 69.730313 15 id16 68.0 서울 85.0 0 NaN ESFP 16.283854 4 id05 24.0 서울 85.0 2 NaN ISFJ 29.269869
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
count가 결측치를 체크하지 않아서 2라고 하셨는데 무슨 말인가요?ㅠㅠ 3분20초 내용입니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 저는 레이블인코딩으로 밀고나갈건데요! train의 범주형 컬럼의 카테고리 ⊂ test의 범주형 칼럼의 카테고리 이거나 아예 두개가 다를 경우만 train, test 합친 후에 레이블 하고 나머지의 경우는 그냥 레이블인코딩 하는걸로 암기하면되나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
오브젝트 컬럼 전처리 시에 예를들어 test에는 있는데 train에는 없다면 데이터를 합쳐서 라벨 또는 원핫 인코딩 가능하다면 데이터를 합친다는거는 train데이터와 test데이터를 합치는 거는 data_all = pd.concat(train,test) 이런식으로 합치고 인코딩 후 나누면 되나요?? 합친 후 인코딩 후 소스가 궁금합니다. 추가로 위와 같은경우에 바로 라벨인코딩하면 에러나나요? 만약 neigbourhood 컬럼 test 값에 train에 포함되지 않은 값이 있다면.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
formula 를 작성할때 C 를 감싸는 경우는 문자값이지만 수치형일 경우 감싸는 사항아닌가요? C 를 붙이는지 안붙이는지에 따라서 결과값이 달라지네요. 아래 Pclass 는 수치형인데 C 가 붙혀져서 질문드려 봅니다. import pandas as pd from statsmodels.formula.api import logit df = pd.read_csv("/kaggle/input/bigdatacertificationkr/Titanic.csv") formula = "Survived ~ C(Pclass) + Gender + SibSp + Parch" model = logit(formula, data=df).fit() model.params
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
- 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다) - 이외의 문의등은 평생강의이므로 양해를 부탁드립니다 - 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다 - 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요.
미해결
자바(Java) 알고리즘 문제풀이 입문: 코딩테스트 대비
안녕하세요 코드보고 공부하다가 궁금한 점이 생겨서 질문 남깁니다. 문제에서 가수가 라이브한 곡 순서대로 부른곡의 길이가 분 단위로 나타난다고 하였습니다. 예시에서는 오름차순으로 잘 정렬되어있지만 가수가 라이브한 곡들의 길이가 뒤죽박죽되어있을때도 있을것을 고려해 배열을 정렬해준뒤 강사님의 풀이랑 똑같은 풀이를 적용하였는데 오답이라고 떴습니다. 정렬메소드가 들어가면 왜 오답이 뜨는지 궁금합니다 !
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요! 캐글에 올려주신 자료로 시험대비 잘 하고 있습니다!ㅎㅎ T1-20 문제를 풀던 중에 데이터 병합하는 부분에서 궁금한 것이 있어 질문드립니다. 선생님께서 풀이하신 것과 다르게 아래와 같이 풀었는데 답이 다르게 나오는데 혹시 이유를 알 수 있을까요? 단지 f4컬럼을 기준으로 b1, b3 데이터를 병합하는거라 이해하고 이렇게 풀었습니다! df=pd.merge(b1, b3, on=['f4']) # print(df.shape) df=df.dropna(subset=['r2']) # print(df.shape) df=df.head(20) print(df['f2'].sum())
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 강사님은 푸실때 sklearn standardscaler로 풀었는데 저는 직접 풀어서 계산했는데 소수점 2.15가 나옵니다. 뭐가 틀렸는지를 모르겠네요. 이렇게 하면 오답이되는건가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
import pandas as pd train = pd.read_csv("5_train.csv") test = pd.read_csv("5_test.csv") #EDA train.head() train.shape, test.shape # train.info() # train['price'].value_counts() train.isnull().sum() test.isnull().sum() cols = train.select_dtypes(include='O').columns print(train.shape, test.shape) # #Label Encoding from sklearn.preprocessing import LabelEncoder for col in cols: le = LabelEncoder() train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) print(train.shape, test.shape) 안녕하세요 선생님! 에러는 안 나는데 레이블인코딩이 안되는데 뭐가 문제인지 모르겠습니다..!
미해결
스프링 입문 - 코드로 배우는 스프링 부트, 웹 MVC, DB 접근 기술
매뉴얼이 어디있나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 🙂 MinMax, Standard 스케일링은 train, test 다 적용해줬는데 로그 스케일을 진행할 때는 train 데이터에만 적용해야 하는건가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
RMSE, RMSLE, MAPE 등 마지막으로 정리해서 외워두려고 하는데요 최대한 넘파이 안쓰고 싸이킷런 안에 있는거로 정리하려고 합니다. RMSLE 경우에는 혹시 싸이킷런으로 정리 가능한 코드가 있을까요? ㅜㅜ import numpy as np from sklearn.metrics import mean_absolute_error, mean_squared_error, mean_absolute_percentage_error # RMSE def rmse(y_val, pred): return np.sqrt (mean_squared_error(y_val, pred)) 혹은 def rmse(y_val, y_pred): return mean_squared_error(y_val, y_pred)**0.5 # RMSLE def rmsle(y_val, pred): return np.sqrt(np.mean(np.power(np.log1p(y_test) - np.log1p(y_pred), 2))) # MAPE def mape (y_val, pred) : return np.mean(np.abs((y_test - y_pred) / y_test)) * 100 혹은 def mape(y_val, pred): return mean_absolute_percentage_error(y_val, pred)
