173만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요! 캐글 작업형 1-22 타임시리즈 부분을 공부하고 있는데 혹시 어떤 경우에 df.set_index()를 사용하나요? 데이터 중 date 컬럼을 주 단위로 나누어 sales 의 합계를 구해야해서 나누는 기준이 되는 date 컬럼을 set_index하는건가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
2번 문제 날짜 컬럼에서 연도만 뽑아낼때 기존에 알려주셨던 datetime 형태로 변경하는것은 에러가 나는데 이유가 궁금합니다. # 연도 추출 # df['날짜'] = pd.to_datetime(df['날짜']) # 오류 df['연도'] = df['날짜'].str[:4]
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 선생님.심화학습 부분에서는 검증단계와 크로스밸리데이션을 둘 다 각자 사용하는 방법을 알려주셨는데, 순서가 궁금했습니다. 먼저 train_test_split으로 데이터를 나눈 후 검증을 해보고 점수가 너무 높아서 과적합이 의심된다면 교차검증을 실행하는걸까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
import pandas as pd train = pd.read_csv("mart_train.csv") test = pd.read_csv("mart_test.csv") #train.head() #test.head() #train.isnull().sum() #test.isnull().sum() #train.info() target = train.pop('total') #print(train.shape, test.shape) train = pd.get_dummies(train) test = pd.get_dummies(test) #print(train.shape, test.shape) from sklearn.model_selection import train_test_split X_tr, y_tr, X_val, y_val = train_test_split(train, target, test_size=0.2, random_state=0) from sklearn.ensemble import RandomForestRegressor rf = RandomForestRegressor(random_state=0) rf.fit(X_tr, y_tr) pred = rf.predict(X_val) 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 강의 보면서 따라했는데, ValueError: Found input variables with inconsistent numbers of samples: [560, 140] 이렇게 에러가 뜨는데, 이유를 못찾겠습니다. 어떤게 문제인지 알 수 있을까요? 감사합니다.
미해결
Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)
강의를 따라 docker-compose 를 이용 해 kafka와 zookeeper 컨테이너를 설정을 수정하고, 도커에서 docker-compose-single-broker.yml 파일을 실행하는 과정에서 에러가 발생했습니다. 최근에 올라온 유사한 질문의 답변을 참고 해 똑같이 yaml 파일을 구성 했는데, 해결 되지 않았습니다. 참고: https://www.inflearn.com/questions/1187585/docker-compose-f-docker-compose-single-broker-yml-up-d https://github.com/wurstmeister/kafka-docker 의 master branch clone windows OS docker-compose-single-broker.yml version: '2' services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" networks: my-network: ipv4_address: 172.18.0.100 kafka: # build: . image: wurstmeister/kafka ports: - "9092:9092" environment: KAFKA_ADVERTISED_HOST_NAME: 172.18.0.101 KAFKA_CREATE_TOPICS: "Topic1:1:3" KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 volumes: - /var/run/docker.sock:/var/run/docker.sock depends_on: - zookeeper networks: my-network: ipv4_address: 172.18.0.101 networks: my-network: external: true name: ecommerce-network 명령어 $ docker-compose -f docker-compose-single-broker.yml up -d Error [+] Building 36.9s (8/9) docker:default => [kafka internal] load build definition from Dockerfile 0.0s => => transferring dockerfile: 2.40kB 0.0s => [kafka internal] load metadata for docker.io/library/openjdk:11-jre-slim 2.0s => [kafka auth] library/openjdk:pull token for registry-1.docker.io 0.0s => [kafka internal] load .dockerignore 0.0s => => transferring context: 2B 0.0s => [kafka 1/4] FROM docker.io/library/openjdk:11-jre-slim@sha256:93af7df2308c5141a751c4830e6b6c5717db102b3b31f012ea29d842dc4f 0.0s => [kafka internal] load build context 0.0s => => transferring context: 243B 0.0s => CACHED [kafka 2/4] COPY download-kafka.sh start-kafka.sh broker-list.sh create-topics.sh versions.sh /tmp2/ 0.0s => ERROR [kafka 3/4] RUN set -eux ; apt-get update ; apt-get upgrade -y ; apt-get install -y --no-install-recomm 34.8s ------ ...생략 failed to solve: process "/bin/sh -c set -eux ; apt-get update ; apt-get upgrade -y ; apt-get install -y --no-install-recommends jq net-tools curl wget ; apt-get install -y --no-install-recommends gnupg lsb-release ; \tcurl -fsSL https://download.docker.com/linux/debian/gpg | gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg ; \techo \t\t\"deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/debian \t\t$(lsb_release -cs) stable\" | tee /etc/apt/sources.list.d/docker.list > /dev/null ; apt-get update ; apt-get install -y --no-install-recommends docker-ce-cli ; apt remove -y gnupg lsb-release ; apt clean ; apt autoremove -y ; apt -f install ; apt-get install -y --no-install-recommends netcat ; chmod a+x /tmp2/*.sh ; mv /tmp2/start-kafka.sh /tmp2/broker-list.sh /tmp2/create-topics.sh /tmp2/versions.sh /usr/bin ; sync ; /tmp2/download-kafka.sh ; tar xfz /tmp2/kafka_${SCALA_VERSION}-${KAFKA_VERSION}.tgz -C /opt ; rm /tmp2/kafka_${SCALA_VERSION}-${KAFKA_VERSION}.tgz ; ln -s /opt/kafka_${SCALA_VERSION}-${KAFKA_VERSION} ${KAFKA_HOME} ; rm -rf /tmp2 ; rm -rf /var/lib/apt/lists/*" did not complete successfully: exit code: 2 강의 내용과는 다르게 뭘 다운 받더니 중간에 ERROR 가 발생합니다. 구글링을 해도 안나오고, wurstmeister / kafka-docker 이슈에도 적혀져 있는게 없는데 혹시 해결 하실 분 계실까요? 😭 😭 😭 😭
해결됨
코딩테스트 [ ALL IN ONE ]
비밀번호가 뭔가요?ㅠ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
pd.to _datetime 으로 데이터 타입 바꾸고 dt.year, dt.month, dt.total _seconds 같은 함수가 기억이 안날때 dir이나 help로 알 수 있는 방법 없을까요, 선생님
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요? 선생님 강의를 듣다보니 pop 함수에 대해 궁금한 점이 생겼습니다. 선생님께선 train에는 drop을 쓰시고 test에는 pop을 쓰셨는데, 혹시 test에도 drop을 써도 되나요? 강의에서pop은 대입하고 컬럼을 삭제한다고 하셨는데, test_id = test.drop('id', axis=1)하면 test 컬럼에는 id가 남아있고 test_id에만 id 컬럼이 삭제된 후 들어가니 drop을 써도 되지 않나 해서요....
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
from sklearn.ensemble import RandomForestClassifier rf=RandomForestClassifier(random_state=2022) rf.fit(x_tr, y_tr) #학습시킴 pred=rf.predict(test) #문제 풀어봄 f1_score(정답데이터, pred) 만약 시험장 간다면 predict에 test데이터를 넣어야할텐데 f1_score에 들어갈 정답 데이터는 홀드아웃 교차검정시 쪼개진 데이터에서는 없는게 맞나요?? 시험출제자가 주지는 않겠지만 y_test가 정답데이터가 되는거죠??? 그럼 만약 시험 출제자분께서 y_test를 준다면 from sklearn.ensemble import RandomForestClassifier rf=RandomForestClassifier(random_state=2022) rf.fit(x_tr, y_tr) #학습시킴 pred=rf.predict(test) #문제 풀어봄 f1_score(y_test, pred) 이렇게 되는게 맞는거죵?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요, 섹션 9 일원분산분석 강의 8:34 경 질문있습니다. 사후검정으로 일원분산분석시에도 어떤 집단에서 유의미한 차이가 있는지를 학습하고 이해했는데요. # Bonferroni(본페로니) mc = MultiComparison(df_melt['value'], df_melt['variable']) bon_result = mc.allpairtest(stats.ttest_ind, method='bonf') print(bon_result[0]) (질문1) 마지막줄에 bon_result[0] 왜 0이 들어가게 된 건지 설명 부탁드리겠습니다. (질문2) 혹시 가설검정 H0 채택/기각 여부 외에 이런부분까지도 출제될 수 있는건가요? (다른 강의를 듣다가 넘어왔는데, 이 부분은 완전 처음들어봤습니다..) 시간이 얼마 없어서, 다른 부분(2유형 코드짜는걸) 집중해서 암기하려고 하는데 조언 부탁드립니다.
해결됨
[코드캠프] 부트캠프에서 만든 고농축 백엔드 코스
ModuleNotFoundError: No module named 'distutils' 이런 에러가납니다. 구글링해보면 파이썬 버전관련해서 얘기를하던데.. 갑자기 파이썬이 튀어나오니까 당황스럽습니다 ㅜㅜ 풀 에러코드는 다음과 같습니다. $ docker-compose build Traceback (most recent call last): File "/usr/bin/docker-compose", line 33, in <module> sys.exit(load_entry_point('docker-compose==1.29.2', 'console_scripts', 'docker-compose')()) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/bin/docker-compose", line 25, in importlib_load_entry_point return next(matches).load() ^^^^^^^^^^^^^^^^^^^^ File "/usr/lib/python3.12/importlib/metadata/__init__.py", line 205, in load module = import_module(match.group('module')) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/lib/python3.12/importlib/__init__.py", line 90, in import_module return _bootstrap._gcd_import(name[level:], package, level) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "<frozen importlib._bootstrap>", line 1387, in _gcd_import File "<frozen importlib._bootstrap>", line 1360, in _find_and_load File "<frozen importlib._bootstrap>", line 1331, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 935, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 995, in exec_module File "<frozen importlib._bootstrap>", line 488, in _call_with_frames_removed File "/usr/lib/python3/dist-packages/compose/cli/main.py", line 9, in <module> from distutils.spawn import find_executable ModuleNotFoundError: No module named 'distutils' 다음은 제가 작성한 docker-compose.yaml입니다. # docker-compose.yaml version: '3.7' services: my-backend: build: context: . dockerfile: Dockerfile volumes: - ./src:/myfolder/src ports: - 3000:3000 env_file: - ./.env.docker my-database: image: mysql:latest environment: MYSQL_DATABASE: 'mydocker' MYSQL_ROOT_PASSWORD: 'root' ports: - 3306:3306 혹시 고수님들 이 문제에대한것을 알고계신다면 답변주세요.. 혹시나 제가 해결했을 경우 댓글에 해결완료라고 제가 적겠습니다.. 도움이 필요합니다.. 오늘 하루종일 mysql 로컬 연결 에러와, 지금 이 에러에 강의진도를 못나가니 심신미약상태가 되어버렸네요..
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
이진분류 모델을 제출할떄는 보통 pred부분에 확률을 적어서 제출하는게 일반적일까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
캐글 작업형 1 T1 - 20 b1와 b3 데이터를 f4 기준으로 병합하기 위해서 df = pd.merge(left = b1, right = b3, how = 'left', on = 'f4') 식을 사용하셨는데 혹시 여기서 how = 'left'의 의미는 무엇인가요?? 이 문제를 pd.concat으로도 풀 수 있는지 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님 캐글 작업형1 19번 문제에서 "events컬럼이 '1'인경우 80%의 Salse값만 반영함" 을 def event_sales(x): if x['Events'] == 1: x['Sales2'] = x['Sales']*0.8 else: x['Sales2'] = x['Sales'] return x df = df.apply(lambda x: event_sales(x), axis=1) #1일 경우 row, 0일 경우 컬럼 df.head() 이 풀이방식 외에 좀 더 간단한 식은 없을까요? 이해하기가 좀 어려워서요 ㅜㅜ
미해결
Next + React Query로 SNS 서비스 만들기
Next.js는 라이브러리에서 보내는 요청까지 캐싱해버리는데, export const dynamic = 'force-dynamic' 해당 문구를 page.tsx에 넣어주면 해당 페이지에서 보내는 모든 요청을 캐싱하지 않음 . => export const dynamic = 'force-dynamic'를 적용한 page.tsx 는 써드파티 라이브러리의 백엔드 요청 캐싱을 무시한다. 또한, 모든 요청을 캐싱하지 않기 때문에 react query나 fetch 함수의 요청도 모두 캐싱을 하지 않는다. 라고 이해했는데 잘 이해한 것인지 모르겠어서 질문 올리게 되었습니다.
해결됨
[코드캠프] 부트캠프에서 만든 고농축 프론트엔드 코스
페이지 이동후 url에 상품 id도 잘출력되고 graphql에 조회해봐도 제대로 조회가되는데 vscode로 실행하면 variables에서 null값이 출력되는데 아무리 찾아봐도 어디가 문제인지 몰라서 질문드립니다 ㅠㅠ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
주어진 데이터는 4가지 다른 교육 방법을 적용한 대학생들의 학점 결과이다. 이 실험에서는 비슷한 실력을 가진 학생 40명을 무작위로 4개(A, B, C, D)그룹으로 나누었고, 각 그룹은 다른 교육 방법을 적용했다. 학생들의 학점 결과에는 교육 방법에 따른 차이가 있는지 유의수준 0.5하에서 검정하시오. 귀무가설(H0): 네 가지 교육 방법에 의한 학생들의 학점 평균은 동일하다. 대립가설(H1): 적어도 두 그룹의 학점 평균은 다르다. 해당 문제의 사후분석에서, stats.ttest_ind는 4개의 그룹이 독립표본이라 그런건가요? 만약 대응표본이라면 mc.allpairtest(stats.ttest_rel, method='bonf')이라고 쓰면 될까요? # Bonferroni(본페로니) mc = MultiComparison(df_melt['value'], df_melt['variable']) bon_result = mc.allpairtest(stats.ttest_ind, method='bonf') print(bon_result[0])
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
올려주신 한가지 방법으로 이문제저문제 풀어보고있습니다!. 빅분기 실기 체험 작업유형2번 질문에서 계속오류가나는데 어떻게해결할 수 있을까요>?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2 평가지표 검증하면 나오는 결과값이 강의답안 결과값이랑 다른경우에도 오답이 아니라고 생각하면 될까요? 예를 들어 강의답안은 1411.223 인데, 제 답안의 경우 1399.1234 등으로 타입,소수점 등은 같은데 실제 수치가 다른 경우에요 (같은 모델을 쓴 경우에) 같은 데이터셋으로 작업해도 random_state? test_size등 개인의 설정값에 따라 지표값이 달라지는 것인지도 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
7회 기출유형(작업형2)에서 문제에 언급된 rmse 이외에 결정계수(r2_score)로 평가해보려고 했는데, 음수값이 나옵니다. 이렇게 음수값이 나올 경우 모델이 잘못된 건 아닌가요?
