sum과 len 수업중 질문이 있어요
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
count가 결측치를 체크하지 않아서 2라고 하셨는데 무슨 말인가요?ㅠㅠ 3분20초 내용입니다.
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
라임
댓글 1
좋아요 0
조회수 142
묻고 답해요
172만명의 커뮤니티!! 함께 토론해봐요.
인코딩
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 저는 레이블인코딩으로 밀고나갈건데요! train의 범주형 컬럼의 카테고리 ⊂ test의 범주형 칼럼의 카테고리 이거나 아예 두개가 다를 경우만 train, test 합친 후에 레이블 하고 나머지의 경우는 그냥 레이블인코딩 하는걸로 암기하면되나요?
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
joy10780
댓글 1
좋아요 0
조회수 219
작업형2 모의문제2 전처리
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
오브젝트 컬럼 전처리 시에 예를들어 test에는 있는데 train에는 없다면 데이터를 합쳐서 라벨 또는 원핫 인코딩 가능하다면 데이터를 합친다는거는 train데이터와 test데이터를 합치는 거는 data_all = pd.concat(train,test) 이런식으로 합치고 인코딩 후 나누면 되나요?? 합친 후 인코딩 후 소스가 궁금합니다. 추가로 위와 같은경우에 바로 라벨인코딩하면 에러나나요? 만약 neigbourhood 컬럼 test 값에 train에 포함되지 않은 값이 있다면.
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
석구
댓글 1
좋아요 0
조회수 200
캐글에 올려주신 작업형 3유형 C로 감싸는 경우 문의
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
formula 를 작성할때 C 를 감싸는 경우는 문자값이지만 수치형일 경우 감싸는 사항아닌가요? C 를 붙이는지 안붙이는지에 따라서 결과값이 달라지네요. 아래 Pclass 는 수치형인데 C 가 붙혀져서 질문드려 봅니다. import pandas as pd from statsmodels.formula.api import logit df = pd.read_csv("/kaggle/input/bigdatacertificationkr/Titanic.csv") formula = "Survived ~ C(Pclass) + Gender + SibSp + Parch" model = logit(formula, data=df).fit() model.params
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
momgrp24
댓글 1
좋아요 0
조회수 161
주피터 말고 파이참 사용해도 되나요?
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
- 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다) - 이외의 문의등은 평생강의이므로 양해를 부탁드립니다 - 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다 - 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요.
- python
- 웹-크롤링
늦깎이도전
댓글 1
좋아요 0
조회수 214
캐글 t1-20 데이터 병합
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요! 캐글에 올려주신 자료로 시험대비 잘 하고 있습니다!ㅎㅎ T1-20 문제를 풀던 중에 데이터 병합하는 부분에서 궁금한 것이 있어 질문드립니다. 선생님께서 풀이하신 것과 다르게 아래와 같이 풀었는데 답이 다르게 나오는데 혹시 이유를 알 수 있을까요? 단지 f4컬럼을 기준으로 b1, b3 데이터를 병합하는거라 이해하고 이렇게 풀었습니다! df=pd.merge(b1, b3, on=['f4']) # print(df.shape) df=df.dropna(subset=['r2']) # print(df.shape) df=df.head(20) print(df['f2'].sum())
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
naegahaenaeem
댓글 1
좋아요 0
조회수 135
기출 7회 작업형1 1번 문제 문의
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 강사님은 푸실때 sklearn standardscaler로 풀었는데 저는 직접 풀어서 계산했는데 소수점 2.15가 나옵니다. 뭐가 틀렸는지를 모르겠네요. 이렇게 하면 오답이되는건가요?
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
빅분기가자
댓글 1
좋아요 0
조회수 171
레이블 인코딩이 안되는 이유가 궁금합니다
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
import pandas as pd train = pd.read_csv("5_train.csv") test = pd.read_csv("5_test.csv") #EDA train.head() train.shape, test.shape # train.info() # train['price'].value_counts() train.isnull().sum() test.isnull().sum() cols = train.select_dtypes(include='O').columns print(train.shape, test.shape) # #Label Encoding from sklearn.preprocessing import LabelEncoder for col in cols: le = LabelEncoder() train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) print(train.shape, test.shape) 안녕하세요 선생님! 에러는 안 나는데 레이블인코딩이 안되는데 뭐가 문제인지 모르겠습니다..!
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
olive h
댓글 1
좋아요 0
조회수 178
로그 스케일 질문
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 🙂 MinMax, Standard 스케일링은 train, test 다 적용해줬는데 로그 스케일을 진행할 때는 train 데이터에만 적용해야 하는건가요?
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
현지원
댓글 2
좋아요 0
조회수 272
회귀분석 관련하여 질문드립니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
RMSE, RMSLE, MAPE 등 마지막으로 정리해서 외워두려고 하는데요 최대한 넘파이 안쓰고 싸이킷런 안에 있는거로 정리하려고 합니다. RMSLE 경우에는 혹시 싸이킷런으로 정리 가능한 코드가 있을까요? ㅜㅜ import numpy as np from sklearn.metrics import mean_absolute_error, mean_squared_error, mean_absolute_percentage_error # RMSE def rmse(y_val, pred): return np.sqrt (mean_squared_error(y_val, pred)) 혹은 def rmse(y_val, y_pred): return mean_squared_error(y_val, y_pred)**0.5 # RMSLE def rmsle(y_val, pred): return np.sqrt(np.mean(np.power(np.log1p(y_test) - np.log1p(y_pred), 2))) # MAPE def mape (y_val, pred) : return np.mean(np.abs((y_test - y_pred) / y_test)) * 100 혹은 def mape(y_val, pred): return mean_absolute_percentage_error(y_val, pred)
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
지윤
댓글 4
좋아요 0
조회수 219
분산분석
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
정규성 및 등분산 만족 조건에 따라 다음과 같이 적용하는게 맞나요?
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
yb
댓글 1
좋아요 0
조회수 105
df.set_index
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요! 캐글 작업형 1-22 타임시리즈 부분을 공부하고 있는데 혹시 어떤 경우에 df.set_index()를 사용하나요? 데이터 중 date 컬럼을 주 단위로 나누어 sales 의 합계를 구해야해서 나누는 기준이 되는 date 컬럼을 set_index하는건가요?
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
박나현
댓글 1
좋아요 0
조회수 145
문제2번 날짜 처리 관련
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
2번 문제 날짜 컬럼에서 연도만 뽑아낼때 기존에 알려주셨던 datetime 형태로 변경하는것은 에러가 나는데 이유가 궁금합니다. # 연도 추출 # df['날짜'] = pd.to_datetime(df['날짜']) # 오류 df['연도'] = df['날짜'].str[:4]
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
goodgail2247
댓글 1
좋아요 0
조회수 178
6회 기출유형(작업형2)
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 선생님.심화학습 부분에서는 검증단계와 크로스밸리데이션을 둘 다 각자 사용하는 방법을 알려주셨는데, 순서가 궁금했습니다. 먼저 train_test_split으로 데이터를 나눈 후 검증을 해보고 점수가 너무 높아서 과적합이 의심된다면 교차검증을 실행하는걸까요?
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
sangjunla6
댓글 1
좋아요 0
조회수 188
7회 기출유형(작업형2) 오류 질문
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
import pandas as pd train = pd.read_csv("mart_train.csv") test = pd.read_csv("mart_test.csv") #train.head() #test.head() #train.isnull().sum() #test.isnull().sum() #train.info() target = train.pop('total') #print(train.shape, test.shape) train = pd.get_dummies(train) test = pd.get_dummies(test) #print(train.shape, test.shape) from sklearn.model_selection import train_test_split X_tr, y_tr, X_val, y_val = train_test_split(train, target, test_size=0.2, random_state=0) from sklearn.ensemble import RandomForestRegressor rf = RandomForestRegressor(random_state=0) rf.fit(X_tr, y_tr) pred = rf.predict(X_val) 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 강의 보면서 따라했는데, ValueError: Found input variables with inconsistent numbers of samples: [560, 140] 이렇게 에러가 뜨는데, 이유를 못찾겠습니다. 어떤게 문제인지 알 수 있을까요? 감사합니다.
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
rkgml5153
댓글 1
좋아요 0
조회수 178
[docker] kafka docker-compose single-broker.yml 실행 에러
미해결
Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)
강의를 따라 docker-compose 를 이용 해 kafka와 zookeeper 컨테이너를 설정을 수정하고, 도커에서 docker-compose-single-broker.yml 파일을 실행하는 과정에서 에러가 발생했습니다. 최근에 올라온 유사한 질문의 답변을 참고 해 똑같이 yaml 파일을 구성 했는데, 해결 되지 않았습니다. 참고: https://www.inflearn.com/questions/1187585/docker-compose-f-docker-compose-single-broker-yml-up-d https://github.com/wurstmeister/kafka-docker 의 master branch clone windows OS docker-compose-single-broker.yml version: '2' services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" networks: my-network: ipv4_address: 172.18.0.100 kafka: # build: . image: wurstmeister/kafka ports: - "9092:9092" environment: KAFKA_ADVERTISED_HOST_NAME: 172.18.0.101 KAFKA_CREATE_TOPICS: "Topic1:1:3" KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 volumes: - /var/run/docker.sock:/var/run/docker.sock depends_on: - zookeeper networks: my-network: ipv4_address: 172.18.0.101 networks: my-network: external: true name: ecommerce-network 명령어 $ docker-compose -f docker-compose-single-broker.yml up -d Error [+] Building 36.9s (8/9) docker:default => [kafka internal] load build definition from Dockerfile 0.0s => => transferring dockerfile: 2.40kB 0.0s => [kafka internal] load metadata for docker.io/library/openjdk:11-jre-slim 2.0s => [kafka auth] library/openjdk:pull token for registry-1.docker.io 0.0s => [kafka internal] load .dockerignore 0.0s => => transferring context: 2B 0.0s => [kafka 1/4] FROM docker.io/library/openjdk:11-jre-slim@sha256:93af7df2308c5141a751c4830e6b6c5717db102b3b31f012ea29d842dc4f 0.0s => [kafka internal] load build context 0.0s => => transferring context: 243B 0.0s => CACHED [kafka 2/4] COPY download-kafka.sh start-kafka.sh broker-list.sh create-topics.sh versions.sh /tmp2/ 0.0s => ERROR [kafka 3/4] RUN set -eux ; apt-get update ; apt-get upgrade -y ; apt-get install -y --no-install-recomm 34.8s ------ ...생략 failed to solve: process "/bin/sh -c set -eux ; apt-get update ; apt-get upgrade -y ; apt-get install -y --no-install-recommends jq net-tools curl wget ; apt-get install -y --no-install-recommends gnupg lsb-release ; \tcurl -fsSL https://download.docker.com/linux/debian/gpg | gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg ; \techo \t\t\"deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/debian \t\t$(lsb_release -cs) stable\" | tee /etc/apt/sources.list.d/docker.list > /dev/null ; apt-get update ; apt-get install -y --no-install-recommends docker-ce-cli ; apt remove -y gnupg lsb-release ; apt clean ; apt autoremove -y ; apt -f install ; apt-get install -y --no-install-recommends netcat ; chmod a+x /tmp2/*.sh ; mv /tmp2/start-kafka.sh /tmp2/broker-list.sh /tmp2/create-topics.sh /tmp2/versions.sh /usr/bin ; sync ; /tmp2/download-kafka.sh ; tar xfz /tmp2/kafka_${SCALA_VERSION}-${KAFKA_VERSION}.tgz -C /opt ; rm /tmp2/kafka_${SCALA_VERSION}-${KAFKA_VERSION}.tgz ; ln -s /opt/kafka_${SCALA_VERSION}-${KAFKA_VERSION} ${KAFKA_HOME} ; rm -rf /tmp2 ; rm -rf /var/lib/apt/lists/*" did not complete successfully: exit code: 2 강의 내용과는 다르게 뭘 다운 받더니 중간에 ERROR 가 발생합니다. 구글링을 해도 안나오고, wurstmeister / kafka-docker 이슈에도 적혀져 있는게 없는데 혹시 해결 하실 분 계실까요? 😭 😭 😭 😭
- spring-cloud
- kafka
- docker
- docker-compose
dpwlszang
댓글 2
좋아요 0
조회수 515
카카오톡 오픈채팅
해결됨
코딩테스트 [ ALL IN ONE ]
비밀번호가 뭔가요?ㅠ
- python
- 코딩-테스트
- 알고리즘
댓글 2
좋아요 0
조회수 285
시계열함수 dt 함수 기억안날 때 방법
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
pd.to _datetime 으로 데이터 타입 바꾸고 dt.year, dt.month, dt.total _seconds 같은 함수가 기억이 안날때 dir이나 help로 알 수 있는 방법 없을까요, 선생님
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
susie_h
댓글 2
좋아요 0
조회수 311
작업형 2 모의문제 test_id pop
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요? 선생님 강의를 듣다보니 pop 함수에 대해 궁금한 점이 생겼습니다. 선생님께선 train에는 drop을 쓰시고 test에는 pop을 쓰셨는데, 혹시 test에도 drop을 써도 되나요? 강의에서pop은 대입하고 컬럼을 삭제한다고 하셨는데, test_id = test.drop('id', axis=1)하면 test 컬럼에는 id가 남아있고 test_id에만 id 컬럼이 삭제된 후 들어가니 drop을 써도 되지 않나 해서요....
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
thstmddns
댓글 2
좋아요 0
조회수 210
평가데이터
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
from sklearn.ensemble import RandomForestClassifier rf=RandomForestClassifier(random_state=2022) rf.fit(x_tr, y_tr) #학습시킴 pred=rf.predict(test) #문제 풀어봄 f1_score(정답데이터, pred) 만약 시험장 간다면 predict에 test데이터를 넣어야할텐데 f1_score에 들어갈 정답 데이터는 홀드아웃 교차검정시 쪼개진 데이터에서는 없는게 맞나요?? 시험출제자가 주지는 않겠지만 y_test가 정답데이터가 되는거죠??? 그럼 만약 시험 출제자분께서 y_test를 준다면 from sklearn.ensemble import RandomForestClassifier rf=RandomForestClassifier(random_state=2022) rf.fit(x_tr, y_tr) #학습시킴 pred=rf.predict(test) #문제 풀어봄 f1_score(y_test, pred) 이렇게 되는게 맞는거죵?
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
한정수
댓글 1
좋아요 0
조회수 162
인기 태그
인프런 TOP Writers
주간 인기글
- 🚀 끝까지 만들어 본 적 있나요? | 실서비스 완성 + 수익 창출 모임 💰 catalyst collectiv
- 🚀 IT 공부는 했는데 왜 아직도 안 될까요? | AI와 함께 실무 중심 IT 모임 🤖 NOESIS
- 🚀 끝까지 만들어 본 적 있나요? | 실서비스 완성 + 수익 창출 모임 💰 catalyst collectiv
- 🚀 끝까지 만들어 본 적 있나요? | 실서비스 완성 + 수익 창출 모임 💰 catalyst collectiv
- 🚀 끝까지 만들어 본 적 있나요? | 실서비스 완성 + 수익 창출 모임 💰 catalyst collectiv