안녕하세요! 강의를 듣고 스트리밍 코드를 주피터 노트북으로 실행하고 netcat을 통해 입력해도 아무것도 출력되지 않아서 도커 안으로 들어가서 spark-submit으로 직접 파이썬 파일로도 실행해봤는데 위 에러가 계속 발생합니다 😬 도커는 수도 권한 주어서 docker run -d -p 9010:8888 -p 4040:4040 --name sparkling --restart always -v /Users/nespola/Desktop/sparkling/sparkdata:/home/jovyan/sparkdata --user root -e NB_GID=100 -e GRANT_SUDO=yes jupyter/all-spark-notebook로 실행했는데 제가 무슨 부분을 놓치고 있는걸까요?
안녕하세요 작업형2에서 EDA하고 바로 target = train.pop('TravelInsurance') train = pd.get_dummies(train) test = pd.get_dummies(test) 이렇게 작업하면 안되는건가요? 실행하면 target줄에 오류가 떠서요,, 데이터분리하고 합치고 스케일링 하는 부분은 아무리 봐도 이해가 안 가서 필수로 해야되는 것만 하고싶어서요ㅜㅜ 책에서도 거의 target에 넣고 바로 인코딩 하더라구요,,
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 문제번 컬럼삭제 시 df=df.drop(cols, axis=1) 을 사용한다고 하였는데, df=df.dropna(cols, axis=1)를 사용하면 에러가 나네요. drop과 dropna는 어떤 경우 사용하는 건지 궁금해요. 파이썬 완전 초보라... 너무 기초적인 부분을 질문하는 것 같아 죄송스럽네요.. 열심히 따라하고 있는 중입니다ㅠ
강의영상 - 자주 활용되는 판다스 예제 - 내장함수 백분위수, 하위 25%값 test = df['가격'].describe() test test.iloc['25%', '가격'] 한번 해봤는데 에러네요. 아직 series에 대한 이해가 부족해서...ㅠㅠ 강의 감사히 보고 있습니다.^^
선생님 안녕하세요? 좋은 강의 진심으로 감사드립니다. 이전에 질문드렸을때 part2 는 나올 계획이 없다고 답변주셨는데요 혹시 spark를 좀 더 심화해서 공부해보고 싶은데 추천해주실 만한 책이나 자료가 있으실까요? 원서도 상관이 없습니다. 물론 spark best book top 10 이런식으로 구글링하면 추천도서가 나오긴 하지만.. 혹시 선생님께서 개인적으로 좀 좋은 교재라고 생각하셨던 도서나 자료가 있으신지 궁금합니다.
[실전]텍스톰 TEXTOM 실전 강의: 빅데이터 논문 작성을 위한 텍스트 분석/텍스트마이닝
이제 논문을 준비해야 하는데 최근에 Bertopic을 사용한 논문이 많이 보이더라구요. 혹시 텍스톰으로 Bertopic 방법을 사용할 수 있을까요? 만약 불가능하다면 파이썬에 대한 지식이 없는 초보자가 bertopic 방법을 사용하기는 힘들까요? 바쁘시겠지만 답변 부탁드립니다 감사합니다
데이터 전처리 강의 14:50 관련하여, X_train['workclass']의 최빈값과 X_test['workclass']의 최빈값이 달라질 수 있는데 train 데이터와 test 데이터를 서로 다른 최빈값으로 결측치를 채워도 되나요? 제 생각에는 train과 test를 합쳐서 최빈값을 찾고, 그값으로 결측치를 채워야 하지 않나 싶습니다.
23페이지에 있는 2번 문제입니다. F1 구하는 공식에 의하여, 기술해주신 답변은 아래 내용과 같습니다. =(2*0.33*0.3)/(0.3+0.33) = 6/19 그런데 해당 공식을 풀이하여 약분해보면 약 3.142857 입니다. =0.198/0.63 = 0.066/0.21 = 0.022/0.07 = 약 3.142857 보기에 있는 2번과 3번을 소수점으로 바꿔보면 두 개 값이 똑같습니다. ② 18/57 = 0.315789 ③ 6/19 = 0.315789 정답이 왜 3번인지에 대한 구체적인 설명 부탁드립니다.
0204 쇼핑 리뷰 군집화 - KMeans, Elbow, Silhouette 분석 강의 질문있습니다. 강의에서는 Silhouette 이 부분이 1과 가까워지는 부분에서 좋은 n_cluster라고 하셨는데 그러면 Elbow 차트 말고 Silhouette 만 써도 되는건가요? 0204 쇼핑 리뷰 군집화 결과 분석 - 실제 제품과 군집 교차표 분석 4분 16초에 k.meanslabel==pardict를 하는 이유가 뭔가요? 라벨링 개수와 학습한 개수를 같은지 확인하는 이유가 궁금합니다.
1) X_train, X_test, y_train, y_test = train_test_split ( df.iloc[:, 1:] , df['survived'], test_size = 0.2, random_state = 42, stratify = df['survived']) 로 되어야 하는거 아닌가요? 연습문제에서 df만 하셨는데, 그렇게 하면 이미 답이 변수에 포함되어있어서 정확도가 1로 나옵니다. 2) 전처리 다 하고나서 저 train_test_split를 수행해도 되나요? 전처리 할 때 X_train, X_test 두번씩 꼭 해줘야 하는게 번거롭고 실수가 날 것 같아서요.
실습 코드를 순서대로 진행하니 아래와 같은 에러가 발생했습니다. ********************* 확인해보니 3번째 셀에서 duckdb를 연결하고 %sql duckdb:///duckdb.db 그 아래에서 다음과 API로 연결을 시도하면 계속 에러가 발생합니다. duckdb_con = duckdb.connect("duckdb.db") ********************** 그래서 노트북 세션을 초기화하고 duckdb.db 파일을 삭제하고 3번째 셀을 실행하지 않고 duckdb API로 바로 연결하니 그때서야 제대로 연결되었습니다.
Hard VotingClassifier 을 사용하면 여러 모델이 내놓은 예측값 중에 가장 많이 득표 한 값을 최종 예측값 으로 내놓는다는 것으로 이해하고 있는데요, 2개의 모델로만 했을 때, 두개의 모델이 다른 값을 낼 때는 어떤 값을 최종 예측값으로 내놓는 것인지 2개의 모델로 하는게 의미가 있는것인지 궁금합니다. 제가 이해를 잘못하고 있다면 Hard VotingClassifier 에 대해서 조금만 더 설명해주시면 감사드리겠습니다.
자료들이 2021년을 기준으로 작성되어 있습니다. 2024년 최신본으로 업로드 해주실 수 있을지 문의차 글을 남겨봅니다. 그리고 교재자료가 페이지가 적어서요. 아니면 "국가공인 데이터 분석 준전문가 자격증 ADsP (비전공자도 배워서 바로 따는)" 책을 구매해야 하는 것으로 보이는데 맞는지 문의드립니다. 좀 더 이야기드리면 수업 자료를 제공해 준다고 한 점이 있는데 , 수업 자료가 전체 책 제공이라고 생각하지는 않았으나, 제공해준 자료는 페이지가 너무 적고 내용이 없어서요. 유료로 구매한 만큼 자료가 많고 최신이라고 생각했는데, 강의가 2024년 7월 10일이 마지막 업데이트기는 하나 강의 게시일은 2021년이고, 어떤 강의를 최종본으로 업데이트 하셨는지는 잘 모르겠어서요. 전체 강의를 2024년 7월 10일에 다시 촬영하셔서 업로드 하신건지 문의드립니다. 만약에 별도의 수정 내용이나 추가 촬영이 없다고 한다면 혹시 강의 업데이트는 추가로 계획이 있는지 문의드립니다. 시험문제도 2021년과 다르게 동향이 바뀌었다고 해서요. 감사합니다.