inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

묻고 답해요

176만명의 커뮤니티!! 함께 토론해봐요.

가상머신 설치부터 안됩니다.

해결됨

빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술

안녕하세요 Jupyter terminal 오픈하고, crawling 실습하기 위한 준비부터 문제가 발생했어요 ㅜ 폴더까지 생성을 했는데, virtualenv 활성화하기 위해 source이라는 명령어가 실행이 되지 않습니다. jupyter notebook workspace도 실행되지 않고...vim 명령어도 인식 하지 못합니다. 빠른 속도에 추가 설명이 없어서, 어디서 어떻게 실행을 하는지 제가 이해하지 못한것 같습니다. visual studio code에서도 실행을 해봤는데, 같은 부분에 계속 예러가 납니다. 도와주세요. 제가 어떻게 하면 되나요?

  • 빅데이터
  • hadoop
  • elasticsearch
  • logstash
  • Kibana
  • apache-spark
  • s3-bucket
라나로즈 댓글 1 좋아요 0 조회수 332

fit_transform함수 문의

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

fit_transform 함수가 여러번 나오는데 제가 이 함수를 잘 모르겠습니다 설명을 부탁드립니다

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
kccjjang 댓글 1 좋아요 0 조회수 314

프레임과 시리즈구분

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요 대괄호 한번하면 시리즈고 두번하면 프레임이라는게 잘 구분이되질 않습니다 자세히 설명 부탁드립니다 추가로 보이는건 같은지요?

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
kccjjang 댓글 3 좋아요 0 조회수 511

app-<timestamp>-<executor_id> 폴더가 spark-events 내부에 생기게 하고 싶습니다.

미해결

실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크

안녕하세요? 강의 자료로 주신 docker-compose 파일을 바탕으로 실습을 하고 있습니다. 프로그램을 실행할 때 마다 app-<timestamp>-<executor_id> 형식의 폴더가 docker-compose.yml가 위치한 곳과 같은 곳에 생기는데, 저는 spark-events 내부에만 저장하고 싶은데 어떤 설정을 해야 하는지 잘 모르겠습니다... spark-defaults.conf spark.eventLog.enabled true spark.eventLog.dir file:/tmp/spark-events spark.history.fs.logDirectory file:/tmp/spark-events 강의 자료에 나온 docker-compose.yml 중 spark의 volumes와 enviroment 부분 volumes: - .:/opt/bitnami/spark/work - ./spark_conf/log4j2.properties:/opt/bitnami/spark/conf/log4j2.properties - ./spark_conf/spark-defaults.conf:/opt/bitnami/spark/conf/spark-defaults.conf - ./spark-events:/tmp/spark-events environment: - SPARK_MODE=master - SPARK_RPC_AUTHENTICATION_ENABLED=no - SPARK_RPC_ENCRYPTION_ENABLED=no - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no - SPARK_SSL_ENABLED=no - SPARK_USER=spark spark 프로그램 실행시 app 폴더가 생기는 사진

  • 머신러닝
  • 빅데이터
  • apache-spark
성범강 댓글 1 좋아요 1 조회수 336

섹션 9. Codelab Guidance 재생 오류

해결됨

빅데이터 클러스터 구축 패키지; 성공을 향한 로드맵

안녕하세요. 섹션 9. Godelab Guidance 영상만 재생이 되지 않는데 확인 부탁드립니다. (다른 영상은 재생 잘 됩니다.) 감사합니다.

  • 빅데이터
  • hadoop
  • apache-spark
  • 데이터-엔지니어링
  • cluster
seoeun 댓글 2 좋아요 1 조회수 304

회귀모형 질문

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

문제2. 에버비엔비 가격은? 평가: R_Squared, MAE, MSE, RMSE, RMSLE, MAPE 문제에서 #데이터 전처리 train = train.drop('id', axis=1) test_id = test.pop('id') target = train.pop('price') a = [ 'name', 'host_id', 'host_name', 'last_review' ] train = train.drop(a, aixs=1) test = test.drop(a, axis=1) train[reviews_per_month] = train[reviews_per_month].fillna(0) test[reviews_per_month] = test[reviews_per_month].fillna(0) #라벨인코딩 cols = train.select_dtypes(include='object').columns from sklearn.preprocessing import LabelEncoder le = LabelEncoder() for col in cols: train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) #train_test_split from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size=0.2, random_state=2022) #랜덤포레스트 from sklearn.ensemble import RandomForestRegressor rf = RandomForestRegressor() rf.fit(X_tr, y_tr) pred = rf.predict(X_val) #rmse from sklearn.metrics import mean_sqaured_error def rmse(y_val, pred): return mean_squared_error(y_val, pred)**2 (질문1) 이렇게 했는데 rmse에서 **2까지 입력하면 예측값이 0.xx라고 출력되어야 하지 않나요? **2까지 입력했는데 아무 값도 출력이 안되네요ㅠ 그리고 데이터 저장 후에는 price가 406, 160..이렇게 출력됩니다! 강사님 풀이에는 295, 155..이던데 값이 달라도 괜찮은건가요? (질문2) 이후 강의에서 rmse를 from sklearn.metrics import mean_squared_error def rmse(y_val, pred): return mean_squared_error(y_val, pred)**2로 하시던데 rmsle나 mape도 numpy를 사용하지 않고 간단하게 표현하는 방법이 있을까요?

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
상냥한 랫서팬더 댓글 2 좋아요 0 조회수 302

대응표본검정관련해서

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요? 대응표본 검정관련해서요 사피로 검정 전에 있는 귀무가설 u>= 0 대립가설 u>0 이라고 되어 있는데요. 보통 이런 경우는 대립가설이 u<0 이 되는거 아닌가요? 설명을 듣다보면, 귀무가설이 u<=0 이 아닌지?

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
kccjjang 댓글 2 좋아요 0 조회수 253

절댓값을 취하면 0.1이 0이 되는 이유>?

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 3~4

라쏘에서 절대값을 취하면 0.1이 0이 되는건가요?? 절대값은 음수를 양수로 바꿔주는 것으로 알고 있는데 데이터 분야에서는 의미가 다른건가요?

  • 빅데이터
2080abc1234 댓글 1 좋아요 0 조회수 298

불균형 데이터 처리의 문제

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

출제자의 눈_2과목(1) 강의를 보면, 2) 불균형 데이터를 그대로 사용하여 모델링할 경우 모델의 정확도가 떨어질 수 있음 위와 같이 기술되어 있고, 강사님 또한 그렇게 설명하고 있습니다. 그러나 2과목 주요 문제 해설 강의를 보면, "불균형 문제를 해결하지 않으면 모델은 ...(중략)... 정확도(Accuracy)가 높아지고, 재현율(Recall)은 낮아짐" 이렇게 설명되고 있습니다. 저는 위 내용이 상반된다고 생각하는데요, 이에 대하여 추가 설명 부탁합니다. 감사합니다.

  • 빅데이터
  • 불균형데이터
Hongjin 댓글 2 좋아요 0 조회수 322

3과목-2통계+분석(pdf) 파일 안 열려요

해결됨

[2026 신규] 데이터분석 준전문가(ADsP) 자격증

안녕하세요 통계분석 pdf 파일 다운로드가 안되네요 확인 좀 부탁드려도 될까요

  • r
  • 빅데이터
  • ADsP
이환 댓글 1 좋아요 0 조회수 339

수업자료 통합본 공유 요청 건

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 3~4

안녕하세요, 강의 잘 수강하고 있습니다. 필기 3~4 수업자료 통합본 발송 부탁 드립니다. jinseong.choi@hyosung.com 감사합니다.

  • 빅데이터
inhan.bae 댓글 1 좋아요 0 조회수 214

각 서버에 설치하는 프로그램은 어떻게 정하나요?

미해결

15일간의 빅데이터 파일럿 프로젝트

안녕하세요! 강의 듣다 궁금한 점이 몇 가지 있어 질문 드립니다. 먼저 강의에서는 빅디님께서 각 서버에 설치할 프로그램을 알려주셔서 편하게 설치는 했는데, 어떤 기준으로 설치할 프로그램을 선택하고 각 서버에 설치할 프로그램을 나눠서 아키텍처를 짜셨는지 빅디님의 관점?이 궁금합니다. 예를 들어 postgreSQL는 서버 1에만 설치하고, HBase Region 같은 경우는 서버 세 곳 모두 설치 한 이유와, 다른 RDBMS 중에서도 postgreSQL을 선택한 특별한 이유 같은거요..! 그리고 서비스 중간에 서버를 늘리려고 할 때 추가해야 하는 서버 수는 어떻게 정하나요? 모니터링 하다가 서버 전체 메모리의 몇 퍼센트를 차지하게 되면 서버를 늘려야 한다 이런 기준이 있을까요? 비용은 제외하고 기술적인 부분에서 기준으로 세울만한 건 어떤게 있는지 궁금합니다. 현업에서는 프로젝트 특성마다 다 다르게 설계를 해야 할 테고 3V 관점으로 봐야 한다는 건 알겠는데 조금 더 구체적인 예시가 있으면 이해하는데 도움이 많이 될 것 같습니다! 감사합니다:]

  • 빅데이터
  • hadoop
  • kafka
  • zookeeper
  • redis
  • flume
  • impala
  • 데이터-엔지니어링
dalki7711 댓글 1 좋아요 0 조회수 328

강의자료 통합본 요청합니다.

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

빅분기 1~2와 3~4 모두 강좌 신청했습니다. 강의 자료 통합본 요청드립니다. kwonej89@naver.com

  • 빅데이터
kwonej89 댓글 2 좋아요 0 조회수 208

RMSLE 관련 로그 함수관련 문의

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요? 제가 LOG 함수관련해서 조작법이 서툴러서요. RMSLE관련해서 공식을 찾아보니 아래오 같더라구요 근데, 강의자료에 작성된 코딩을 보면 11sqrt(np.mean(np.power(np.log1p(y_test) - np.log1p(y_pred), 2))) 와 같습니다. 여기서 np. log1p(t_test) 이 코딩과 위에 공식이 같은건가요. +1이 여긴 반영되어 있는건지 모르겠습니다. 로그관련 설명을 좀 부탁드리겠습니다.

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
kccjjang 댓글 1 좋아요 0 조회수 292

불용어 처리 관련 질문드립니다.

미해결

연구논문 작성을 위한 빅데이터·텍스트마이닝 분석 실전 - ChatGPT를 활용한 LDA·BERTopic·감성분석·CONCOR

안녕하세요 LDA 분석하는 강의에서 데이터의 특수문자나 외자 등 불용어들이 깔끔하게 정리가 안되서 불용어 제거하는 팁을 보여주셨었잖아요. df['title_contents']=df['title_contents'].str.replace(pat="는",repl="") 이 과정을 데이터 전처리 단계에서 형태소 추출하는 단계에서도 적용할 수 있는 것 같아서 아래와 같이 해보았는데 에러 메세지가 떠서 .. 어떤 부분이 문제인지 좀 여쭤보고 싶습니다. 도움 부탁드립니다. 감사합니다.

  • 빅데이터
  • 텍스트마이닝
우아한 북극곰 댓글 1 좋아요 0 조회수 370

강의 통합 요약본 요청합니다

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

금일 1~2신청하여 강의 전입니다 해덩 1~2강의 통합본 받을수 있을까요? khandong109@nse.co.kr 입니다

  • 빅데이터
khandong109 댓글 2 좋아요 0 조회수 189

수업자료 통합본 요청의건

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

안녕하세요 한동국입니다 금일 1~2신청하여 강의 전입니다 해덩 1~2, 3~4 강의 통합본 받을수 있을까요? khandong109@naver.com 입니다

  • 빅데이터
khandong109 댓글 1 좋아요 0 조회수 173

워드 클라우드 cloud=wc.fit_words 코드 에러

미해결

연구논문 작성을 위한 빅데이터·텍스트마이닝 분석 실전 - ChatGPT를 활용한 LDA·BERTopic·감성분석·CONCOR

안녕하세요 아까 문의드렸던 tdm 부분은 잘 해결되었습니다. 빠른 답변 감사드립니다. 하지만 어제 문의드렸었던 워드클라우드 이미지 만들때 쓰는 아래 코드가 여전히 에러입니다. cloud =wc.fi t_words(count_dic) 답변주신대로 폰트 적용되어 있는데 왜 자꾸 안되는지 모르겠습니다.. 도와주세요

  • 빅데이터
  • 텍스트마이닝
우아한 북극곰 댓글 1 좋아요 0 조회수 273

형태소 분석 및 워드클라우드 질문드립니다.

미해결

연구논문 작성을 위한 빅데이터·텍스트마이닝 분석 실전 - ChatGPT를 활용한 LDA·BERTopic·감성분석·CONCOR

안녕하세요 어제 워드클라우드 관련 다음 코드 cloud= wc.fit _words(count_dic) 오류 관련해서 질문드렸었습니다. 답변 주신대로 폰트도 코랩 폴더에 업로드해서 업로드된 경로를 넣어줬습니다. 오늘 다시 해보려고 하니까 아래 그림과 같이 이번에는 dtm 코드에서 또 에러가 나는데 이거 저는 도대체 왜 안되는 걸까요? ㅠㅠ 도와주세요

  • 빅데이터
  • 텍스트마이닝
우아한 북극곰 댓글 1 좋아요 0 조회수 251

3강 워드클라우드 만들기 관련 질문입니다.

미해결

연구논문 작성을 위한 빅데이터·텍스트마이닝 분석 실전 - ChatGPT를 활용한 LDA·BERTopic·감성분석·CONCOR

안녕하세요 구글 코랩에서 화면대로 빅카인즈에서 데이터 추출해서 단어 빈도분석 및 워드클라우드 시각화 하는 방법 배우고 있습니다. 그런데 cloud= wc.fit _words(count_dic) 코드가 다음과 같이 에러가 뜨면서 실행이 되지 않습니다. 확인 부탁드립니다. 감사합니다!! --------------------------------------------------------------------------- OSError Traceback (most recent call last) <ipython-input-57-63f7188bfec7> in <cell line: 1>() ----> 1 cloud=wc.fit_words(count_dic) 5 frames /usr/local/lib/python3.10/dist-packages/PIL/ImageFont.py in getbbox(self, text, mode, direction, features, language, stroke_width, anchor) 419 :return: ``(left, top, right, bottom)`` bounding box 420 """ --> 421 size, offset = self.font.getsize( 422 text, mode, direction, features, language, anchor 423 ) OSError: invalid outline

  • 빅데이터
  • 텍스트마이닝
우아한 북극곰 댓글 1 좋아요 0 조회수 373

인기 태그

인프런 TOP Writers

주간 인기글