묻고 답해요
131만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
시계열데이터에서 dt관련
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요? 시계열 자료 강의에서 년월일 등을 추출하는 강의가 있는데요.. 여기서 dt가 갑자기 나와서요.. 이것도 그냥 함수인가요.. 아님 뭐 datetime의 약자 뭐 그런건지요? dt관련해서 이거 뭐하는 함수인지 궁긍합니다.
-
미해결쉽게 따라하는 빅데이터 논문 작성법 with ChatGPT (빅카인즈 기사 LDA&감성분석)
3강 질문입니다.
안녕하세요.파이썬 초보인데 강의보면서 어려워도 따라해보고 있습니다.2강 까지 title_content 열에 제목+본문 내용의 형태소 추출 하는 것 까지 하고 나서 3강에서 추출된 내용을 df=head()로 확인했을때딱 title_content 부분만 나오던데 이거는 하는 방법이 따로 있나요? 저는 전체 열이 다 나오는데 엑셀에서 파일을 지우는 건지 아니면 따로 title_content 열만 나오게 하는 코딩을 해야 하는지 궁금합니다!
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
수업자료통합본 요청
필기 1~2 및 3~4 수업자료 통합본 발송 부탁 드립니다.kiwol@naver.com
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
기출 6회 작업형 1 질문
3. 연도별로 총 범죄 건수(범죄유형의 총합)의 월평균 값을 구한 후 그 값이 가장 큰 연도를 찾아, 해당 연도의 총 범죄 건수의 월평균 값을 출력하시오. (반올림하여 정수로 출력)문제에서 df['총범죄건수'] = df.iloc[:, 1:7].sum(axis=1)iloc 를 활용해서 열의 합을 구할 때는 sum 괄호 안에 axis=1 이라고 작성을 하는데 result = df.groupby('연도')['총범죄건수'].sum(axis=0)/12연도별로 그룹으로 묶어 행의 합을 구할 때는 sum 괄호 안에 axis=0 이라고 넣으면 오류가 나더라구요! iloc 를 활용해서 합을 구할 때는 sum 괄호 안에 axis 를 작성해도 되지만, groupby 를 활용해서 합을 구할 때는 sum 괄호 안에 axis 를 작성하면 안된다고 외워야 하는 건가요??
-
미해결15일간의 빅데이터 파일럿 프로젝트
파일럿 프로젝트 pc 환경 구성 질문입니다.
혹시 docker를 활용해서 실습환경을 구축하여도 문제가 있을까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
5회 기출 질문
5회 기출 작업형 2에서3회 기출 작업형 2에서 강사님께서 풀이하신 방식으로train, test 데이터를 수치형, 범주형으로 나누고 수치형은 robustscaler, 범주형은 dummies를 활용한 후 concat으로 합치려고 했는데요!아래처럼 코딩을 했는데 사진처럼 오류가 발생합니다ㅠㅠ혹시 기출 3회 작업형 2는 회귀모형이 아니기 때문에,기출 3회 작업형 2 풀이 방식을 기출 5회 작업형 2에 활용하지 못하는건가요? import pandas as pdtrain = pd.read_csv("train.csv")test = pd.read_csv("test.csv") n_train = train.select_dtypes(exclude ='object').copyc_train = train.select_dtypes(include ='object').copyn_test = test.select_dtypes(exclude = 'object').copyc_test = test.select_dtypes(include = 'object').copy from sklearn.preprocessing import RobustScalercols = ['year', 'mileage', 'tax', 'mpg', 'engineSize']scaler = RobustScaler()n_train[cols] = scaler.fit_transform(n_train[cols])n_test[cols] = scaler.transform(n_test[cols]) c_train = pd.get_dummies(c_train)c_test = pd.get_dummies(c_test) train = pd.concat([n_train, c_train], axis=1)test = pd.concat([n_test, c_test], axis=1) print(train)print(test)
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
수업자료 통합본 공유 요청 건
안녕하세요, 강의 잘 수강하고 있습니다.필기 1~2 및 3~4 수업자료 통합본 발송 부탁 드립니다.jinseong.choi@hyosung.com 감사합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
4회 기출 작업형 2 질문 cross_val_score 질문 (2)
총 3가지 질문이 있습니다! 교차검증에서 cross_val_score 을 활용하면from sklearn.metrics import f1_score 을 활용하지 않아도 되는 건가요?(scoring='f1_macro' 라고 되어 있어서 train_test_split 과 f1_score 평가를 동시에 진행하는 방식 같은데..맞나요..?) 문제에서 평가 : Macro f1_score 라고 되어 있는데,강사님처럼 교차검증에서 cross_val_score을 활용해도 되고, train_test_split +from sklearn.metrics import f1_score 활용해도 되는건가요? 이전 강의에서f1_score 평가 설명시from sklearn.metrics import f1_scoref1 = f1_score(y_true_str, y_pred, average = 'macro')라고 알려 주셨는데, metrics 를 불러와서 f1_score을 평가하는 것은 train_test_split 을 통해 X_tr, X_val, y_tr, y_val 로 분리한 경우에만 사용할 수 있는 거죠??(2번 질문과 이어짐) ps. 친절한 강의, 답변 감사합니다!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
4회 기출 작업형 2번 cross_val_score 질문
cross_val_score 풀이에서 from sklearn.model_selection import cross_val_scorescores = cross_val_score(rf, train, target, scoring='f1_macro', cv=5)라고 써주셨는데요. from sklearn.model_selection import cross_val_scoreprint(help(cross_val_score))했더니 사진처럼 cross_val_score 활용방법이 안 뜨고 오류만 뜹니다ㅠㅠ scores = cross_val_score(rf, train, target, scoring='f1_macro', cv=5)을 전부 외우고 있어야 하는 건가요??
-
해결됨15일간의 빅데이터 파일럿 프로젝트
고사양 server03 이미지
안녕하세요고사양 pc에서는 server01, 02, 03 이 필요한 것으로 알고 있는데 혹시 server03은 어디서 받을 수 있을까요? 섹션 1~2에 업로드된 첨부파일 확인했는데 server03 이미지를 찾지 못하여 문의 드립니다!
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
Replica Placement 질문입니다.
4분 50초 경" rack 전체가 뻗는것 보다 노드 하나 뻗는 확률이 더 올라간다? "라고 해주셨는데 잘 이해가 가지 않아서 질문드립니다.제가 이해한 바로는결국 신뢰성과 가용성 둘중 하나는 포기를 해야하고 그 둘 사이의 타협적 결정을 잘 해야 한다.가용성을 위해 단일 노드에 모든 복제본을 둘 경우 속도는 빠르지만 신뢰성 보장이 어렵고 장애 대응이 불가능 하다.신뢰성을 위해 복제본을 모든 데이터 센터 혹은 많은 가상 노드에 복제해둘 경우 신뢰성은 극한으로 올라가지만 데이터를 가져오는데 시간이 너무 오래결려 가용성이 떨어진다.그래서 그 둘 사이의 타협점을 구한 것이 Replica Placement다.위처럼 이해하면 될까요??
-
해결됨15일간의 빅데이터 파일럿 프로젝트
VirtualBox-5.0.40 실행불가
VirtualBox-5.0.40윈도우에서는 실행이 안된다고 에러메시지가 뜹니다. 다른분이 질문하신 게시글에서 버츄얼박스는 '흰색남자'님의 OS(Windows 10)에 최적화된 버젼을 설치해 사용 하시면 됩니다. 라고 하셨는데 그 글도 삭제된 것 같아서요 VirtualBox-5.0.40-115130-Win다른 방안을 알려주시면 감사하겠습니다.
-
해결됨[핵집] 2024 빅데이터 분석기사(필기)_과목 3~4
[요청] 빅데이터분석기사(필기) 통합 교안 부탁합니다
안녕하세요.1-2, 3-4 강의 신청했습니다.1-2, 3-4 통합 교안 전달 부탁드립니다.감사합니다.
-
미해결스파크 머신러닝 완벽 가이드 - Part 1
MLOps 관련 MLFLow 및 Databricks 모델 서빙
안녕하세요 강사님, 좋은 강의 감사드립니다! 요즘 MLOps 관련 model deploy 및 serving 하는 것이 더 중요해지고 있는데 관련 강의를 준비하고 계신지 궁금합니다. 처음에는 이 강의에 추가로 강의를 올리시는 것도 계획 중이신지 여쭙고 싶었으나, 해당 강의와 model을 deploy하고 serving 하는 것은 강의의 범위에서 벗어나는 것도 같네요 ㅎㅎ Databricks에서도 MLFlow 이용해서 experiment를 하는 것이 꽤 잘 되어 있는 것 같던데 혹시라도 관련 강의 준비하고 계시다면 너무 기대됩니다!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
시험환경 체험링크 클릭시 오류
섹션 6. 시험환경 체험링크를 클릭하면연결이 비공개로 설정되어 있지 않습니다.공격자가 dataq.goorm.io에서 정보(예: 비밀번호, 메시지, 신용카드 등)를 도용하려고 시도 중일 수 있습니다. 자세히 알아보기NET::ERR_CERT_DATE_INVALID 라고 뜨는데 어떻게 해야 하는건가요?ㅠㅠ
-
미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 ERR_CONNECTION_REFUSED 문제
안녕하세요 VM 통합 환경 구성 중입니다.현재 인텔 MAC 사용중이고 ,HOST,NAC 설정 까지 다 해주었는데 연결이 안돼서 진행을 못하고 있습니다 . ㅠ추가로 putty 접속도 안되네요.. 원인이 뭘까요??..확인 한번 부탁드립니다..++ 수정네트워크를 다음과 같이 변경후 서버 재시작하였더니이제 refused는 뜨지 않지만 time out 에러가 뜨네요 ㅠputty도 마찬가지입니다. ++ 수정 server02 는 현재 ssh 접속이 가능합니다..!정확하게 host정보를 입력한거 같은데 server01은 접속이 안되네요 ! ++ server 01 에서 바로 서비스체크 해보았습니다.클라우데라 매니저 잘 작동 중이고 ,, 리스타도 해보았는데여전히 http://server01.hadoop.com/ 치고 들어가면 refused 뜨네요 ㅜㅜ
-
미해결실리콘밸리 엔지니어와 함께하는 Apache Airflow
메타데이터 의미
강사님 안녕하세요메타데이터는 테이터의 설명 즉, 테이블에 대한 명세서 라고 정의 하는것을 봤습니다. 그런데 또 다른 의미로 원천 데이터 라는 의미로도 사용될 수 있을까요? 예를들어 overview강의에서 6:24초에 "다른 메타 데이터와 합성해서"라고 말씀 해주셔서요! 사소하지만 조금 헷갈려서 문의 드립니다!강의 잘 듣고 있습니다. 감사합니다!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형1 모의문제
import numpy as npdf['f3'] = df['f3'].replace(np.nan,0).replace('silver',1).replace('gold',2).replace('vip',3)라고 하셨는데 df['f3'] = df['f3'].fillna(0)df['f3'] = df['f3'].replace("silver", 1).replace("gold", 2).replace("vip", 3) 이렇게 해도 답이 133으로 똑같이 나오더라구요!이렇게 해도 되나용?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
전체 열을 한번에 주석 # 처리하는 방법이 뭔가요?
3-6. 강의에서모델 최적화를 하는 과정에서스케일러를from sklearn.preprocessing import StandardScalerscaler = StandardScaler()cols = ['age', 'bmi']train[cols] = scaler.fit_transform(train[cols])test[cols] = scaler.transform(test[cols])에서 #from sklearn.preprocessing import StandardScaler#scaler = StandardScaler()#cols = ['age', 'bmi']#train[cols] = scaler.fit_transform(train[cols])#test[cols] = scaler.transform(test[cols]) 이렇게 한번에 주석(#)처리하셨는데,어떻게 하신건가요?alt+#shift+#ctrl+# 했는데 다 안되네요ㅠ
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
원핫인코딩 질문
3-4. 의 원핫인코딩에서는c_train = pd.get_dummies(c_train[cols])c_test = pd.get_dummies(c_test[cols]) 3-6. 의 원핫인코딩에서는train = pd.get_dummies(train, columns=cols)test = pd.get_dummies(test, columns=cols)라고 되어 있네요ㅠ 3-6에서도 3-4처럼train = pd.get_dummies(train[cols])test = pd.get_dummies(test[cols])로 실행해 봤는데 결과가 다르게 나오네요! 왜 3-4에서는 [cols] 라고 하고,3-6에서는 columns=cols라고 하는건가요?ㅠ