묻고 답해요
131만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
가상머신 설치부터 안됩니다.
안녕하세요Jupyter terminal 오픈하고, crawling 실습하기 위한 준비부터 문제가 발생했어요 ㅜ폴더까지 생성을 했는데, virtualenv 활성화하기 위해 source이라는 명령어가 실행이 되지 않습니다. jupyter notebook workspace도 실행되지 않고...vim 명령어도 인식 하지 못합니다. 빠른 속도에 추가 설명이 없어서, 어디서 어떻게 실행을 하는지 제가 이해하지 못한것 같습니다. visual studio code에서도 실행을 해봤는데, 같은 부분에 계속 예러가 납니다. 도와주세요. 제가 어떻게 하면 되나요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
fit_transform함수 문의
fit_transform 함수가 여러번나오는데제가 이 함수를 잘 모르겠습니다설명을 부탁드립니다
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
프레임과 시리즈구분
안녕하세요대괄호 한번하면 시리즈고 두번하면 프레임이라는게잘 구분이되질 않습니다자세히 설명 부탁드립니다 추가로 보이는건 같은지요?
-
미해결실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크
app-<timestamp>-<executor_id> 폴더가 spark-events 내부에 생기게 하고 싶습니다.
안녕하세요? 강의 자료로 주신 docker-compose 파일을 바탕으로 실습을 하고 있습니다. 프로그램을 실행할 때 마다 app-<timestamp>-<executor_id> 형식의 폴더가 docker-compose.yml가 위치한 곳과 같은 곳에 생기는데, 저는 spark-events 내부에만 저장하고 싶은데 어떤 설정을 해야 하는지 잘 모르겠습니다... spark-defaults.confspark.eventLog.enabled true spark.eventLog.dir file:/tmp/spark-events spark.history.fs.logDirectory file:/tmp/spark-events 강의 자료에 나온 docker-compose.yml 중 spark의 volumes와 enviroment 부분 volumes: - .:/opt/bitnami/spark/work - ./spark_conf/log4j2.properties:/opt/bitnami/spark/conf/log4j2.properties - ./spark_conf/spark-defaults.conf:/opt/bitnami/spark/conf/spark-defaults.conf - ./spark-events:/tmp/spark-events environment: - SPARK_MODE=master - SPARK_RPC_AUTHENTICATION_ENABLED=no - SPARK_RPC_ENCRYPTION_ENABLED=no - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no - SPARK_SSL_ENABLED=no - SPARK_USER=spark spark 프로그램 실행시 app 폴더가 생기는 사진
-
해결됨빅데이터 클러스터 구축 패키지; 성공을 향한 로드맵
섹션 9. Codelab Guidance 재생 오류
안녕하세요. 섹션 9. Godelab Guidance 영상만 재생이 되지 않는데 확인 부탁드립니다. (다른 영상은 재생 잘 됩니다.)감사합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
회귀모형 질문
문제2. 에버비엔비 가격은?평가: R_Squared, MAE, MSE, RMSE, RMSLE, MAPE문제에서 #데이터 전처리train = train.drop('id', axis=1)test_id = test.pop('id')target = train.pop('price') a = [ 'name', 'host_id', 'host_name', 'last_review' ]train = train.drop(a, aixs=1)test = test.drop(a, axis=1)train[reviews_per_month] = train[reviews_per_month].fillna(0)test[reviews_per_month] = test[reviews_per_month].fillna(0) #라벨인코딩 cols = train.select_dtypes(include='object').columns from sklearn.preprocessing import LabelEncoderle = LabelEncoder() for col in cols: train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) #train_test_splitfrom sklearn.model_selection import train_test_splitX_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size=0.2, random_state=2022) #랜덤포레스트from sklearn.ensemble import RandomForestRegressorrf = RandomForestRegressor()rf.fit(X_tr, y_tr)pred = rf.predict(X_val) #rmsefrom sklearn.metrics import mean_sqaured_error def rmse(y_val, pred): return mean_squared_error(y_val, pred)**2(질문1)이렇게 했는데 rmse에서 **2까지 입력하면 예측값이 0.xx라고 출력되어야 하지 않나요?**2까지 입력했는데 아무 값도 출력이 안되네요ㅠ그리고 데이터 저장 후에는 price가 406, 160..이렇게 출력됩니다!강사님 풀이에는 295, 155..이던데값이 달라도 괜찮은건가요? (질문2)이후 강의에서 rmse를 from sklearn.metrics import mean_squared_errordef rmse(y_val, pred): return mean_squared_error(y_val, pred)**2로 하시던데 rmsle나 mape도 numpy를 사용하지 않고 간단하게 표현하는 방법이 있을까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
대응표본검정관련해서
안녕하세요? 대응표본 검정관련해서요 사피로 검정 전에 있는 귀무가설 u>= 0대립가설 u>0 이라고 되어 있는데요. 보통 이런 경우는 대립가설이 u<0 이 되는거 아닌가요?설명을 듣다보면, 귀무가설이 u<=0 이 아닌지?
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 3~4
절댓값을 취하면 0.1이 0이 되는 이유>?
라쏘에서 절대값을 취하면 0.1이 0이 되는건가요?? 절대값은 음수를 양수로 바꿔주는 것으로 알고 있는데 데이터 분야에서는 의미가 다른건가요?
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
불균형 데이터 처리의 문제
출제자의 눈_2과목(1) 강의를 보면,2) 불균형 데이터를 그대로 사용하여 모델링할 경우 모델의 정확도가 떨어질 수 있음위와 같이 기술되어 있고, 강사님 또한 그렇게 설명하고 있습니다. 그러나 2과목 주요 문제 해설 강의를 보면,"불균형 문제를 해결하지 않으면 모델은 ...(중략)... 정확도(Accuracy)가 높아지고, 재현율(Recall)은 낮아짐"이렇게 설명되고 있습니다. 저는 위 내용이 상반된다고 생각하는데요, 이에 대하여 추가 설명 부탁합니다.감사합니다.
-
미해결데이터분석 준전문가(ADsP) 자격증 대비
3과목-2통계+분석(pdf) 파일 안 열려요
안녕하세요 통계분석 pdf 파일 다운로드가 안되네요 확인 좀 부탁드려도 될까요
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 3~4
수업자료 통합본 공유 요청 건
안녕하세요, 강의 잘 수강하고 있습니다.필기 3~4 수업자료 통합본 발송 부탁 드립니다.jinseong.choi@hyosung.com 감사합니다.
-
미해결15일간의 빅데이터 파일럿 프로젝트
각 서버에 설치하는 프로그램은 어떻게 정하나요?
안녕하세요!강의 듣다 궁금한 점이 몇 가지 있어 질문 드립니다.먼저 강의에서는 빅디님께서 각 서버에 설치할 프로그램을 알려주셔서 편하게 설치는 했는데, 어떤 기준으로 설치할 프로그램을 선택하고 각 서버에 설치할 프로그램을 나눠서 아키텍처를 짜셨는지 빅디님의 관점?이 궁금합니다.예를 들어 postgreSQL는 서버 1에만 설치하고, HBase Region 같은 경우는 서버 세 곳 모두 설치 한 이유와, 다른 RDBMS 중에서도 postgreSQL을 선택한 특별한 이유 같은거요..!그리고 서비스 중간에 서버를 늘리려고 할 때 추가해야 하는 서버 수는 어떻게 정하나요? 모니터링 하다가 서버 전체 메모리의 몇 퍼센트를 차지하게 되면 서버를 늘려야 한다 이런 기준이 있을까요? 비용은 제외하고 기술적인 부분에서 기준으로 세울만한 건 어떤게 있는지 궁금합니다. 현업에서는 프로젝트 특성마다 다 다르게 설계를 해야 할 테고 3V 관점으로 봐야 한다는 건 알겠는데 조금 더 구체적인 예시가 있으면 이해하는데 도움이 많이 될 것 같습니다! 감사합니다:]
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
강의자료 통합본 요청합니다.
빅분기 1~2와 3~4 모두 강좌 신청했습니다. 강의 자료 통합본 요청드립니다.kwonej89@naver.com
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
RMSLE 관련 로그 함수관련 문의
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요안녕하세요? 제가 LOG 함수관련해서 조작법이 서툴러서요. RMSLE관련해서 공식을 찾아보니 아래오 같더라구요근데, 강의자료에 작성된 코딩을 보면 11sqrt(np.mean(np.power(np.log1p(y_test) - np.log1p(y_pred), 2))) 와 같습니다. 여기서 np. log1p(t_test) 이 코딩과 위에 공식이 같은건가요. +1이 여긴 반영되어 있는건지 모르겠습니다. 로그관련 설명을 좀 부탁드리겠습니다.
-
미해결쉽게 따라하는 빅데이터 논문 작성법 with ChatGPT (빅카인즈 기사 LDA&감성분석)
불용어 처리 관련 질문드립니다.
안녕하세요LDA 분석하는 강의에서 데이터의 특수문자나 외자 등 불용어들이 깔끔하게 정리가 안되서 불용어 제거하는 팁을 보여주셨었잖아요.df['title_contents']=df['title_contents'].str.replace(pat="는",repl="")이 과정을 데이터 전처리 단계에서 형태소 추출하는 단계에서도 적용할 수 있는 것 같아서 아래와 같이 해보았는데 에러 메세지가 떠서 .. 어떤 부분이 문제인지 좀 여쭤보고 싶습니다.도움 부탁드립니다. 감사합니다.
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
강의 통합 요약본 요청합니다
금일 1~2신청하여 강의 전입니다 해덩 1~2강의 통합본 받을수 있을까요?khandong109@nse.co.kr 입니다
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
수업자료 통합본 요청의건
안녕하세요 한동국입니다 금일 1~2신청하여 강의 전입니다 해덩 1~2, 3~4 강의 통합본 받을수 있을까요? khandong109@naver.com 입니다
-
미해결쉽게 따라하는 빅데이터 논문 작성법 with ChatGPT (빅카인즈 기사 LDA&감성분석)
워드 클라우드 cloud=wc.fit_words 코드 에러
안녕하세요아까 문의드렸던 tdm 부분은 잘 해결되었습니다. 빠른 답변 감사드립니다.하지만 어제 문의드렸었던 워드클라우드 이미지 만들때 쓰는 아래 코드가 여전히 에러입니다.cloud=wc.fit_words(count_dic)답변주신대로 폰트 적용되어 있는데 왜 자꾸 안되는지 모르겠습니다..도와주세요
-
미해결쉽게 따라하는 빅데이터 논문 작성법 with ChatGPT (빅카인즈 기사 LDA&감성분석)
형태소 분석 및 워드클라우드 질문드립니다.
안녕하세요 어제 워드클라우드 관련 다음 코드 cloud=wc.fit_words(count_dic) 오류 관련해서 질문드렸었습니다.답변 주신대로 폰트도 코랩 폴더에 업로드해서 업로드된 경로를 넣어줬습니다.오늘 다시 해보려고 하니까 아래 그림과 같이 이번에는 dtm 코드에서 또 에러가 나는데 이거 저는 도대체 왜 안되는 걸까요? ㅠㅠ도와주세요
-
미해결쉽게 따라하는 빅데이터 논문 작성법 with ChatGPT (빅카인즈 기사 LDA&감성분석)
3강 워드클라우드 만들기 관련 질문입니다.
안녕하세요 구글 코랩에서 화면대로 빅카인즈에서 데이터 추출해서 단어 빈도분석 및 워드클라우드 시각화 하는 방법 배우고 있습니다. 그런데 cloud=wc.fit_words(count_dic) 코드가 다음과 같이 에러가 뜨면서 실행이 되지 않습니다. 확인 부탁드립니다. 감사합니다!! --------------------------------------------------------------------------- OSError Traceback (most recent call last) <ipython-input-57-63f7188bfec7> in <cell line: 1>() ----> 1 cloud=wc.fit_words(count_dic) 5 frames/usr/local/lib/python3.10/dist-packages/PIL/ImageFont.py in getbbox(self, text, mode, direction, features, language, stroke_width, anchor) 419 :return: ``(left, top, right, bottom)`` bounding box 420 """ --> 421 size, offset = self.font.getsize( 422 text, mode, direction, features, language, anchor 423 ) OSError: invalid outline