inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

묻고 답해요

176만명의 커뮤니티!! 함께 토론해봐요.

zookeeper 관련 문의드립니다.

미해결

15일간의 빅데이터 파일럿 프로젝트

실습에서는 server01에 zookeeper 설치하고, server02에서 zookeeper-client 실행시 문제가 없는데 제환경에서는 Server01에 설치하여 server01에서만 클라이언트 실행되고, server02에서는 오류가 나는데요 정상일까요

  • 빅데이터
  • hadoop
  • kafka
  • zookeeper
  • redis
  • flume
  • impala
  • 데이터-엔지니어링
special_one 댓글 1 좋아요 0 조회수 315

실기 시험 삼수(12월 응시예정)인데, 첨으로 유료강의를 신청하여 듣게되었습니다ㅠ

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

제가 작년 10월에 필기를 합격하고, 첫 시험은 회사를 다닌다고 바뻐서 제대로 준비를 못했고 재수인 한달전 시험때는 대학원생 신분이 되어 너무나도 바쁘고 새로운 유형이 생겼는데 제대로 준비를 못하고 들어가서 떨어졌습니다. 시중에 나온 실기책 한권을 구매하여 보긴했으나, 구성도 엉망이고 별로여서 이대로는 잘못하다가 실기 2년 기한이 날아가버릴꺼 같아서 첨으로 빅분기 유료강의를 결제하였습니다. 데이터 진흥원 샘플문제에도 없던 회귀문제가 기출이 되었었는데, 제가 아직 강의를 듣진 않아서 다루시는지는 모르겠으나 향후 12월 시험전에 충분한 업데이트는 해주실 계획이시겠죠? 강의수를 보니 컴팩트하고 수강평도 보니 합격하신분들이 많아 신청하였습니다. 막상 시험장만 가면 2유형같은 경우에 머릿속에는 어렴풋히 프로세스가 있으나 막상 타이핑으로의 출력이 안되고, 1유형인 판다스도 매번 공식 cheatsheet를 찾아서 쓰는지라 익숙하지가 않은것 같습니다. help()함수를 써도 예시가 예상과는 다르게 나와서 활용을 못했던거 같아요. 기초부터 차근차근 강의대로 믿고 착실하게 따라 갈게요ㅠ 잘 부탁드리겠습니다

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
김투투 댓글 1 좋아요 1 조회수 449

통합 강의안 요청 드립니다.

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

lynx561@naver.com 입니다 요청 드립니다.

  • 빅데이터
이상탁 댓글 1 좋아요 0 조회수 301

colab에 하둡이 설치되어 있는 걸까요?

미해결

실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크

Colab에 pyspark가 미리 설치되어 있지는 않지만 !pip install pyspark 명령으로 설치 후 사용 가능하더라구요. Colab에 자바와 하둡, 스파크가 이미 설치되어 있는 것으로 생각해도 될까요? 제가 강의로 이해하기로는 하둡에 있는 일부 기능- 맵리듀스를 스파크가 대체할 수 있는데, 기존 하둡과 호환성을 위해 다른 부분은 하둡 그대로 두고 그 부분만 스파크로 대체해야 하고 그래서 하둡도 필요하고 스파크는 자바로 되어 있으니 자바도 필요하고, 스파크 설치 후 이것을 파이썬으로 래핑한 pyspark를 실행하는 것으로 그렇게 생각하고 있는데 이게 맞는지 모르겠습니다. SparkContext가 생성되면서 내부적으로 스파크 어플리케이션이 실행되나요? 아니면 데몬같은 것이 실행중인 상태인 걸까요? 너무 모른 채로 질문드려서 죄송합니다.

  • 머신러닝
  • 빅데이터
  • apache-spark
You 댓글 1 좋아요 0 조회수 375

노트북 램이 8GB 인데 괜찮나요?

해결됨

Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기

서버를 계속 켜두고 싶어서 사용하지 않는 노트북에 2gb ubuntu desktop을 설치했는데, 강의를 진행하는데 문제 없을까요? 해당 노트북은 다른 용도로는 전혀 사용하지 않고, 강의내용은 다른 pc에서 Xshell과 크롬 데스크톱 화면 공유를 활용하면서 실행하려고 해요.

  • 빅데이터
  • hadoop
  • 데이터-엔지니어링
asdqweasdzxcasd 댓글 1 좋아요 1 조회수 480

통합 교재 문의드립니다.

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 3~4

안녕하세요. 수강생 정종민 입니다. 통합교재 공유받을수 있는지 문의드립니다. 공유 가능하시다면 jasper2236@naver.com으로 공유 부탁드립니다. 가입 e-mail : originaljong@lgcns.com 받고 싶은 e-mail : jasper2236@naver.com 감사합니다.

  • 빅데이터
정종민 댓글 1 좋아요 0 조회수 335

test_data로 평가할 때 pred 행 개수와 test 행개수 틀림

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 동영상: 26:30 안녕하세요 trainset에서 tr, val 분류한 후 모델 설정 후 testset으로 roc_auc_score 평가를 하려고 함수를 적용했는데요 pred의 행의 수와 test_set 행의 수가 다르다는 오류가 떠서요. 선생님께서는 roc 평가를 할때 X_test[cols] 데이터와 X_val을 사용한 예측결과인 pred[:1]을 사용하셨는데 저는 그럼 행의 수가 다르다는 오류가 뜨네요ㅠㅠㅠ # XGBoost from xgboost import XGBClassifier xgb = XGBClassifier() xgb_fit = xgb.fit(X_tr[cols],y_tr) xgb_pred = xgb.predict_proba(X_val[cols]) from sklearn.metrics import roc_auc_score roc_auc_score(y_val,xgb_pred[:,1]) # 평가 데이터로 예측 및 csv파일 생성 summit = pd.DataFrame({ "id" : X_test['id'], "income" : xgb_pred[:,1] }) summit.to_csv("1111.csv",index=False) ##############위 코드 작성으로 생긱 오류부분################ ValueError: array length 2931 does not match index length 3257

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
호로롤로 댓글 1 좋아요 1 조회수 368

교안 요청

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 3~4

1~2, 3~4 모두 수강신청했습니다. julianminci@naver.com으로 부탁드립니다. 더운 날씨에 건강 조심하세요. 감사합니다.

  • 빅데이터
julianminci 댓글 1 좋아요 0 조회수 162

통합 강의안 요청드립니다.

해결됨

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

안녕하세요 강의안(교안) 요청드립니다! dktlskdt@naver.com 으로 부탁드립니다. 감사합니다 :)

  • 빅데이터
dktlskdt 댓글 1 좋아요 0 조회수 383

교안 발송 요청 드립니다.

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

오늘 수강 신청하였는데 챕터별로 강의안이 나뉘어져 있어서 한꺼번에 출력이 너무 어렵습니다. 아래 다른 게시글을 보니 통합 강의록 발송이 가능하신것 같아 요청드립니다. 통합 강의 교안 vitna821@naver.com으로 발송 요청 드립니다.

  • 빅데이터
TL323 댓글 1 좋아요 0 조회수 327

강의녹화 수정요청

미해결

연구논문 작성을 위한 빅데이터·텍스트마이닝 분석 실전 - ChatGPT를 활용한 LDA·BERTopic·감성분석·CONCOR

3:21부터 목소리가 안나옵니다.

  • 빅데이터
  • 텍스트마이닝
Eun Jin Hwang 댓글 3 좋아요 0 조회수 557

빅디님 좋은 강의 너무 감사드립니다 강의 연장 가능한지 문의드립니다

미해결

15일간의 빅데이터 파일럿 프로젝트

좋은 강의에 항상 신경써주셔서 감사합니다 미처 수강하지 못한 부분이 있어서 수강을 하고자 합니다 너무 좋은 강의에 감사드리며 요청드립니다

  • 빅데이터
  • hadoop
  • kafka
  • zookeeper
  • redis
  • flume
  • impala
  • 데이터-엔지니어링
댓글 1 좋아요 0 조회수 326

spark_xgboost_lightgbm 강의부분 관련

미해결

스파크 머신러닝 완벽 가이드 - Part 1

안녕하세요. 강사님, 수업을 잘 듣고 있습니다! 다름이 아니라 spark_xgboost_lightgbm에서 버전이 바뀌면서 앞선 댓글을 통해 SparkXGBClassifier로 수정하여 해결은 하였으나, 새로 바뀐 XGB에서는xgb_model.feature_importances 이부분이 나오질 않아서, 혹시 SparkXGBClassifier의 featureImportances 를 보려면 어떻게 해야하는지 from mmlspark.lightgbm import LightGBMClassifier import mlflow lgbm_classifier = LightGBMClassifier(featuresCol="features", labelCol="label", numLeaves=100, maxDepth=10, numIterations=100) lgbm_model = lgbm_classifier.fit(train_sdf) -> 이부분부터 값이 나오질 않습니다. 오류메시지 org.apache.spark.SparkException: Job aborted due to stage failure: Task 4 in stage 73.0 failed 1 times, most recent failure: Lost task 4.0 in stage 73.0 (TID 285) (ip-번호.us-west-2.compute.internal executor driver): java.lang.NoSuchMethodError: com.microsoft.ml.lightgbm.lightgbmlib.new _doubleArray(J)Lcom/microsoft/ml/lightgbm/SWIGTYPE_p_double; 이 두부분에 대해서 문의 드립니다!

  • 머신러닝
  • 빅데이터
  • apache-spark
  • 데이터-엔지니어링
swsb0416 댓글 1 좋아요 0 조회수 507

기출문제에 대한 질문2입니다.

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

-기출문제 4회 20번에서... 빅데이터 저장소를 지칭하는 것은?의 답이 4번 NoSQL이라고 했는데요.. NoSQL은 비정형DB를 의미하는 것이지 빅데이터 저장소를 지칭하는 것은 아닌 것 같은데요.. 의견 부탁드려요..

  • 빅데이터
jinhwan.yu 댓글 1 좋아요 0 조회수 270

기출문제 답에 대한 질문입니다.

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

- 기출문제 3회 8번 문제 중 문항 2번이 틀렸다고 했는데요.. 왜 틀린 건지? 잘 이해가 가지 않습니다. 법 문항을 찾아봐도 큰 차이가 없는데요.. 설명 요청 드립니다. 2번 문항 : 개인정보처리자는 개인정보를 익명으로 처리하여도 개인정보 수집 목적을 달성할 수 있는 경우 익명에 의하여 처리 하여야 한다....??? 맞는 것 같은데요..

  • 빅데이터
jinhwan.yu 댓글 1 좋아요 0 조회수 168

오늘시험 작업형2 f1 score 관련 질문드려요

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요 강사님 오늘 시험 작업형2를 풀고 f1-score로 확인하려고 하는데 오류가뜨더라구요 from sklearn.metrics import f1_score다했거든요 오류 내용이 에버리지를 뭘 선택해라 라고 뜨더라구요 (macro, None, 등등에서 택해라) 이런식으로 뜨던데 average =“macro” 써줫어야햇나요? 강의들을때는 저문구 안써도 됏던거같아서요csv 제출은 형식에 맞게했는데 검증을 못해서 불안하네요 ㅠㅠ

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
woooon92 댓글 1 좋아요 1 조회수 599

유형2 채점기준 관련

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요 강사님, 오늘 빅분기 6회 실기 시험을 치르고 나왔는데요 (생각보다 어려웠네요 ㅠ) 빅데이터 분석기사 2유형의 0점유형에 '예측값 정확도가 평가지표 최저 구간 미만 : 0점' 이라고 적혀있는데, ' 평가지표 최저 구간'이라는 의미가 어떻게 되는지 알 수 있을까요? 분류 문제가 나와서 처음에는 RandomForestClassifier로 예측했고, 요구하는 평가지표(f1-macro)로 돌려봤더니 train 데이터에서 분리(train_test_split)한 validation 데이터 0.9이상이 나와서 과적합인 것 같아서 강사님께서 얼마전 알려주신 lightgbm으로 바꾼 다음에 하이퍼파라미터 수정해보니 0.8정도 나와서 분류 예측 후 제출하였습니다. 그런데 빅데이터 관련 카페 글 보니, 대부분 랜포로 돌린다음에 0.9이상인 상태에서 분류 후 제출했다고 하네요 그러면서 빅데이터 카페에 어떤 분이 train 데이터에서 분리한 train 과 validation 데이터 모두 평가지표가 높게 나오면 과적합이 아니라는 얘기를 들었습니다...ㅠ 평가지표 최저 구간이라는 의미가 각 모델의 하이퍼파라미터를 건드리지 않고 그냥 모델을 예측했을 때의 평가지표 일까요? (예를 들면 LGBMClassifier의 하이퍼파라미터 없는 상태에서 0.9면 기준이 0.9가 되는건지...) 이게 맞다면 저는 0점이겠네요..ㅠ, lightgbm도 아무런 하이퍼파라미터 없이는 0.9이상이였거든요.. 무튼, 덕분에 많은 것들 배울 수 있어서 감사했습니다! +글 작성후 추가 구글 Bard 한테 물어봤더니... train, validation 데이터 모두 0.9 이상 인 경우 과적합으로 볼 수 있냐는 질문을 했더니 아래와 같이 답변이 나오기는 했네요.. <답변> 네, train 데이터와 validation 데이터 모두 해당 모델에 대한 평가지표가 0.9인 경우에도 과적합이 발생할 가능성이 있습니다. 과적합은 모델의 복잡성이 너무 높아서 train 데이터에만 적응하는 상태를 말합니다. train 데이터와 validation 데이터 모두 해당 모델에 대한 평가지표가 높다는 것은 모델이 train 데이터에 너무 적응하여 그 외의 데이터에는 제대로 대응하지 못하는 상태일 가능성이 높습니다.

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
루나킹 댓글 1 좋아요 0 조회수 1237

Train 데이터 학습 관련

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

시험 전에 여쭤봤어야 하는 질문인데 뒤늦게 여쭤보네요 Train test split 사용하여 tr 과 val 로 나누어서 model.fit 하여서 f1 score 확인 하였고 그 이후에 test 를 바로 predict 하여 제출 하는게 아니라 혹시 Tr 과 val 을 나누기 전의 전체 train 데이터로 다시 fit 시켜서 그 모델로 Test 데이터 를 predict 해도 되는지 궁금 합니다

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
김민지 댓글 1 좋아요 0 조회수 360

타임델타 관련

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

6회 시험 1 유형 1번 타임델타 사용 질문입니다 _m _s 로 분과 초를 추출했는데 위쪽에 위치한 프린트문 주석처리 여부에 따라 아래쪽에 출력한 저의 답의 결과가 달랐습니다 ㅠ 뭐가 문제였을지 궁금합니다 ㅠ 참여데드라인 넘기고 공부시작하는바람에 캐글 오징어게임 톡방에도 못들어가서 이런 얘기 여쭤볼데가 없네요 ㅠ 시험중 1대1문의에 물어보니 첨엔 컴퓨터 오류 아니라구 하다가 재차 물어보니 해당내용 확인중이라고하구 그냥 답을 제출하라그래서 찾은 답을 프린트하는 하드코딩으로 제출했습니다 ㅠㅠㅠ 흑.... 0점 처리되는거 아닌지 걱정되네요

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
김민지 댓글 1 좋아요 0 조회수 299

predict.randomForest

미해결

빅데이터분석기사 실기대비 (R 활용)

제5회 작업형 2유형 가지고 풀어봤습니다. 선생님 덕분에 깔끔하게 쓸 수 있게 됐네요. 작년에는 개념을 아예 모르고 냅다 암기만 해서 얼마나 당황했는지..;; str(df) df$model <- as.factor(df$model) df$year <- as.factor(df$year) df$transmission <- as.factor(df$transmission) df$fuelType <- as.factor(df$fuelType) str(df) inx <- createDataPartition(df$price, p = 0.7, list = F) train <- df[inx,] test <- df[-inx,] model1 <- randomForest(price~.,data=train) p1 <- predict(model1, test) rmse(p1, test$price) tst$model <- as.factor(tst$model) tst$transmission <- as.factor(tst$transmission) tst$fuelType <- as.factor(tst$fuelType) tst$year <- as.factor(tst$year) df <- df[,-2] tst <- tst[,-2] model2 <- randomForest(price~.,data=df) p2 <- predict(model2, tst) result <- data.frame(pred = p2) write.csv(result, 'C://r/result.csv', row.names=FALSE) result_check <- read.csv('result.csv') result_check 이런 식으로 선생님께서 알려주신 방법대로 했었는데, randomForest 모델 만들고 tst 데이터에다가 predict 적용할 때 에러가 났었습니다. Type of predictors in new data do not match that of the training data. ?predict, ?predict.randomForest 둘 다 해봐도 도통 원인을 모르겠어서 결국 인터넷 검색을 해봤더니 factor가 너무 종류가 많아서 일어나는 문제라고 하더군요;; 그래서 앞으로 돌아와서 df <- df[,-2] tst <- tst[,-2] 두 행 추가해서 20개의 factor를 가진 year 칼럼을 삭제하고 다시 돌렸더니 그땐 됐습니다. train, test가지고 나눠서 해봤을 때 rmse가 1521이라고 나왔습니다만 회귀 문제라 좋은 건지 어떤지 모르겠더라구요. rpart보다 randomForest에서 rmse가 더 낮았으니까 성능이 더 좋다 이런 상대적인 판단만 가능했습니다. 비슷하게 19개의 factor를 가진 model 칼럼을 날려버릴지 year 칼럼을 날려버릴지 고민됐는데 어느 쪽이 더 성능이 좋을지는 시험에 나온 데이터셋 가지고 해봐야겠네요. 범주형 데이터 다 넣어보고 빼보고 rmse 해서 비교해보겠습니다. 결론은.. 회귀 문제가 나왔고 randomForest 모델 썼는데 predict에서 Type of predictors in new data do not match that of the training data.이런 에러가 나오면 factor가 너무 많은 칼럼을 과감하게 날려버리자! 였습니다. 제대로 판단한 건지 모르겠습니다만 혹시 벼락치기로 기출 풀어보시는 분들 있다면 공유차 글 작성합니다.

  • 빅데이터
신영환 댓글 1 좋아요 1 조회수 585

인기 태그

인프런 TOP Writers

주간 인기글