안녕하세요 Jupyter terminal 오픈하고, crawling 실습하기 위한 준비부터 문제가 발생했어요 ㅜ 폴더까지 생성을 했는데, virtualenv 활성화하기 위해 source이라는 명령어가 실행이 되지 않습니다. jupyter notebook workspace도 실행되지 않고...vim 명령어도 인식 하지 못합니다. 빠른 속도에 추가 설명이 없어서, 어디서 어떻게 실행을 하는지 제가 이해하지 못한것 같습니다. visual studio code에서도 실행을 해봤는데, 같은 부분에 계속 예러가 납니다. 도와주세요. 제가 어떻게 하면 되나요?
안녕하세요? 강의 자료로 주신 docker-compose 파일을 바탕으로 실습을 하고 있습니다. 프로그램을 실행할 때 마다 app-<timestamp>-<executor_id> 형식의 폴더가 docker-compose.yml가 위치한 곳과 같은 곳에 생기는데, 저는 spark-events 내부에만 저장하고 싶은데 어떤 설정을 해야 하는지 잘 모르겠습니다... spark-defaults.conf spark.eventLog.enabled true spark.eventLog.dir file:/tmp/spark-events spark.history.fs.logDirectory file:/tmp/spark-events 강의 자료에 나온 docker-compose.yml 중 spark의 volumes와 enviroment 부분 volumes: - .:/opt/bitnami/spark/work - ./spark_conf/log4j2.properties:/opt/bitnami/spark/conf/log4j2.properties - ./spark_conf/spark-defaults.conf:/opt/bitnami/spark/conf/spark-defaults.conf - ./spark-events:/tmp/spark-events environment: - SPARK_MODE=master - SPARK_RPC_AUTHENTICATION_ENABLED=no - SPARK_RPC_ENCRYPTION_ENABLED=no - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no - SPARK_SSL_ENABLED=no - SPARK_USER=spark spark 프로그램 실행시 app 폴더가 생기는 사진
출제자의 눈_2과목(1) 강의를 보면, 2) 불균형 데이터를 그대로 사용하여 모델링할 경우 모델의 정확도가 떨어질 수 있음 위와 같이 기술되어 있고, 강사님 또한 그렇게 설명하고 있습니다. 그러나 2과목 주요 문제 해설 강의를 보면, "불균형 문제를 해결하지 않으면 모델은 ...(중략)... 정확도(Accuracy)가 높아지고, 재현율(Recall)은 낮아짐" 이렇게 설명되고 있습니다. 저는 위 내용이 상반된다고 생각하는데요, 이에 대하여 추가 설명 부탁합니다. 감사합니다.
안녕하세요! 강의 듣다 궁금한 점이 몇 가지 있어 질문 드립니다. 먼저 강의에서는 빅디님께서 각 서버에 설치할 프로그램을 알려주셔서 편하게 설치는 했는데, 어떤 기준으로 설치할 프로그램을 선택하고 각 서버에 설치할 프로그램을 나눠서 아키텍처를 짜셨는지 빅디님의 관점?이 궁금합니다. 예를 들어 postgreSQL는 서버 1에만 설치하고, HBase Region 같은 경우는 서버 세 곳 모두 설치 한 이유와, 다른 RDBMS 중에서도 postgreSQL을 선택한 특별한 이유 같은거요..! 그리고 서비스 중간에 서버를 늘리려고 할 때 추가해야 하는 서버 수는 어떻게 정하나요? 모니터링 하다가 서버 전체 메모리의 몇 퍼센트를 차지하게 되면 서버를 늘려야 한다 이런 기준이 있을까요? 비용은 제외하고 기술적인 부분에서 기준으로 세울만한 건 어떤게 있는지 궁금합니다. 현업에서는 프로젝트 특성마다 다 다르게 설계를 해야 할 테고 3V 관점으로 봐야 한다는 건 알겠는데 조금 더 구체적인 예시가 있으면 이해하는데 도움이 많이 될 것 같습니다! 감사합니다:]
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요? 제가 LOG 함수관련해서 조작법이 서툴러서요. RMSLE관련해서 공식을 찾아보니 아래오 같더라구요 근데, 강의자료에 작성된 코딩을 보면 11sqrt(np.mean(np.power(np.log1p(y_test) - np.log1p(y_pred), 2))) 와 같습니다. 여기서 np. log1p(t_test) 이 코딩과 위에 공식이 같은건가요. +1이 여긴 반영되어 있는건지 모르겠습니다. 로그관련 설명을 좀 부탁드리겠습니다.
연구논문 작성을 위한 빅데이터·텍스트마이닝 분석 실전 - ChatGPT를 활용한 LDA·BERTopic·감성분석·CONCOR
안녕하세요 LDA 분석하는 강의에서 데이터의 특수문자나 외자 등 불용어들이 깔끔하게 정리가 안되서 불용어 제거하는 팁을 보여주셨었잖아요. df['title_contents']=df['title_contents'].str.replace(pat="는",repl="") 이 과정을 데이터 전처리 단계에서 형태소 추출하는 단계에서도 적용할 수 있는 것 같아서 아래와 같이 해보았는데 에러 메세지가 떠서 .. 어떤 부분이 문제인지 좀 여쭤보고 싶습니다. 도움 부탁드립니다. 감사합니다.
연구논문 작성을 위한 빅데이터·텍스트마이닝 분석 실전 - ChatGPT를 활용한 LDA·BERTopic·감성분석·CONCOR
안녕하세요 아까 문의드렸던 tdm 부분은 잘 해결되었습니다. 빠른 답변 감사드립니다. 하지만 어제 문의드렸었던 워드클라우드 이미지 만들때 쓰는 아래 코드가 여전히 에러입니다. cloud =wc.fi t_words(count_dic) 답변주신대로 폰트 적용되어 있는데 왜 자꾸 안되는지 모르겠습니다.. 도와주세요
연구논문 작성을 위한 빅데이터·텍스트마이닝 분석 실전 - ChatGPT를 활용한 LDA·BERTopic·감성분석·CONCOR
안녕하세요 어제 워드클라우드 관련 다음 코드 cloud= wc.fit _words(count_dic) 오류 관련해서 질문드렸었습니다. 답변 주신대로 폰트도 코랩 폴더에 업로드해서 업로드된 경로를 넣어줬습니다. 오늘 다시 해보려고 하니까 아래 그림과 같이 이번에는 dtm 코드에서 또 에러가 나는데 이거 저는 도대체 왜 안되는 걸까요? ㅠㅠ 도와주세요