inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

묻고 답해요

176만명의 커뮤니티!! 함께 토론해봐요.

감성분석

미해결

모두의 한국어 텍스트 분석과 자연어처리 with 파이썬

강사님 안녕하세요. 책보면서 강의 열심히 듣고 있습니다. 제가 한국어 텍스트 감성분석을 프로젝트로 하고 싶은데요. 현 강의 목차에는 감성분석이 없더라고요. 제가 놓친 걸까요? 이번 강의에서 감성분석을 다루는 부분이 있다면 알려주시면 감사하겠습니다. 아직 없다면, 감성분석 강의도 듣고 싶습니다. 항상 감사합니다:)!

  • python
  • 머신러닝
  • 빅데이터
  • NLP
  • 텍스트마이닝
  • data-clustering
  • 데이터-리터러시
데분냥 댓글 1 좋아요 0 조회수 449

해당 강의 내용 영문에 적용하는 방법

미해결

모두의 한국어 텍스트 분석과 자연어처리 with 파이썬

한국어 분석 말고, 영어 분석은 어떻게 다른지 업데이트 해주 실수 있을까요?

  • python
  • 머신러닝
  • 빅데이터
  • NLP
  • 텍스트마이닝
  • data-clustering
  • 데이터-리터러시
이재혁 댓글 1 좋아요 0 조회수 481

강의 통합본 요청드립니다

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

안녕하세요 수업자료 통합본 요청 드리고자 합니다. starktype@gmail.com

  • 빅데이터
댓글 1 좋아요 0 조회수 207

LabelEncoder를 실행하면 'ValueError: y should be a 1d array, got an array of shape (1818, 10) instead.라는 error가 발생합니다.

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요? 아래와 같이 LabelEncoder를 실행하면 'ValueError: y should be a 1d array, got an array of shape (1818, 10) instead.라는 error가 발생합니다. ' 왜 그럴까요? df2라는 데이터프레임에서 object인 column만 선택해서 똑같이 했습니다. 어떻게 해야 하는지 알려주시면 대단히 감사하겠습니다. from sklearn.preprocessing import LabelEncoder cols=['Gender', 'family_history_with_overweight', 'FAVC', 'CAEC', 'SMOKE', 'SCC', 'CALC', 'MTRANS', 'NObeyesdad', 'transportation'] le=LabelEncoder() for col in [cols]: df2[col]= le.fit _transform(df2[col])

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
Kyewon(은서.후.채) 댓글 3 좋아요 0 조회수 983

PDF기준으로 LLM에게 답변/요약을 요청할때 가능한 방법 문의

미해결

모두의 한국어 텍스트 분석과 자연어처리 with 파이썬

여러개의 pdf 파일기준으로 LLM에게 답변하거나 요약하라고 할때 pdf 데이터를 vectordb에 임베딩하여 조회하는 방법만 알고있었는데 pdf를 txt로 변환후에 langchain 함수를 이용하고 vectordb를 이용하지 않아도 LLM이용하여 답변이 가능하던데요. 어떤게 좋은 방법일까요? from langchain.chains.question_answering import load_qa_chain from langchain.chains import AnalyzeDocumentChain qa_chain = load_qa_chain(model, chain_type="map_reduce") qa_document_chain = AnalyzeDocumentChain(combine_docs_chain=qa_chain) 데이터가 많으면 vectordb를 쓰고, 많지 않으면 langchain 함수를 이용하는건가요? 다른 방법은 또 어떤게 있을까요?

  • python
  • 머신러닝
  • 빅데이터
  • NLP
  • 텍스트마이닝
  • data-clustering
  • 데이터-리터러시
joylee 댓글 2 좋아요 1 조회수 1350

[공유] DNS_PROBE_FINISHED_NXDOMAIN 문제시

미해결

15일간의 빅데이터 파일럿 프로젝트

저는 macbook을 사용중이며 intel-chip입니다. M1은 여러차례 자체구성을 시도 하였지만, centOS는 7이였나 8이상부터 m1에서도 설치가 되도록 arm based ios를 제공하였지만 설치를 실패하였고, reddit과 git 커뮤등의 centOS의 설치 이미지를 m1칩에 맞게 리빌드 등의 작업이 필요하다는 등으로 시간이 너무 소요되고 강의를 듣기전 지칠듯하여 skip하였습니다. 제공받은 VM파일로 구성후 크롬에서 cloudera manager 접근시 DNS_PROBE_FINISHED_NXDOMAIN의 문제가 발생하였고, 높은 확율로 hosts의 오타를 의심하였지만 오타는 아니였습니다. DNS 캐시 및 초기화를 진행하였고, 크롬의 캐시 또한 삭제하였습니다. 그래도 동일한 오류로 접근이 불가하여 ping과 telnet을 날리니 핑은 날라가나 telnet으로 포트와 함께 날릴시 접근이 불가한것을 확인하였습니다. 올바른 해결방법일지는 모르겠지만 해당 포트가 접근이 불가능하다 판단하여, VM server01에 네트워크 설정에서 > 어댑터 1 > 고급 > 포트 포워딩 > 호스트포트 7180 / 게스트포트 7180 으로 세팅하여 정상 접근 확인하였습니다. 저와 같이 이러한 문제를 만나시는 분이 계시면 조금 더 빠른 해결 방법을 찾길 바라며 글 남깁니다. P.S. BigD님 혹 해당 방법이 올바른 방법이 아니라면 잘못된 정보라 표시 부탁드립니다. 제가 아직 강의 초반이기에 해당 설정을 건드리어 후반부의 강의에 영향을 끼칠지에 대한 확신이 없습니다ㅠㅠ

  • 빅데이터
  • hadoop
  • kafka
  • zookeeper
  • redis
  • flume
  • impala
  • 데이터-엔지니어링
D Kim 댓글 1 좋아요 0 조회수 683

concor 분석

미해결

TEXTOM SV로 해보는 빅데이터 분석 (정제부터 시각화까지)

UCINET프로그램을 활용한 분석을 교육 영상을 보며 연습하고 있었습니다. concor 분석을 하는 과정에서 input dataset 입력한 후 output dataset을 3가지 입력하는 과정에서 문제가 발생합니다. 폴더를 열면 파일형식에 Datasets로만 뜨네요. 교육 영상처럼Datasets(*.##h)라고 뜨지 않네요. 그래서 오류가 나는 것 같은데...이럴 결우 어떻게 해야 하나요? 폴더 속 문서는 모두(*.##h)로 뜹니다.

  • 빅데이터
  • 데이터-리터러시
룰루랄라~ 댓글 1 좋아요 0 조회수 729

수업자료 통합본 요청건

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

안녕하세요 수업자료 통합본 요청 드리고자 합니다. seula21@naver.com 요청드립ㄴ디ㅏ!

  • 빅데이터
seula21 댓글 1 좋아요 0 조회수 228

단어 편집 데이터 업로드 법

미해결

[실전]텍스톰 TEXTOM 실전 강의: 빅데이터 논문 작성을 위한 텍스트 분석/텍스트마이닝

대량의 단어 편집 시, 수정 및 삭제 데이터 파일(엑셀)을 만든 후, 파일을 어디에 업로드 해야 하나요?

  • 빅데이터
  • 텍스트마이닝
  • textom
Jieun So 댓글 1 좋아요 1 조회수 289

string과 object 의 차이

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 dtype에서 string과 object 의 차이가 혼동이됩니다.차이가 뭔지 문의드립니다.

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
kdmin88 댓글 1 좋아요 0 조회수 1033

강의 자료 관련입니다.

미해결

데이터분석에 ChatGPT 강림

강의를 통해서 막연했던 챗gpt 활용 데이터 분석에 큰 도움을 받고 있습니다. 초보자도 알기 쉽게 설명해주셔서 감사해요! 다름이 아니라, 데이터 분석과정에 활용하는 유용한 프롬프트를 많이 알려주시는데요. 별도로 강의자료가 없다보니 강의 도중 캡쳐나 필기를 해야하고, 나중에 찾아보기 힘든 부분이 있습니다. 별도 강의자료 제공 계획은 없으신지 궁금합니다. 감사합니다.

  • 빅데이터
  • 데이터-리터러시
  • chatgpt
You Jeong Lee 댓글 1 좋아요 1 조회수 386

수업자료 통합본 발성 요청의 건

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

안녕하세요. [핵집] 2023 빅데이터 분석기사(필기)_과목 1~2 를 수강하고 있습니다. 수업자료 통합본 발송을 부탁드리고자 합니다. email : shark1375@gmail.com

  • 빅데이터
윤서현 댓글 1 좋아요 0 조회수 189

섹션2 실습 1에서 질문 있습니다.

해결됨

빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술

안녕하세요, 강사님. 좋은 강의 올려주셔서 감사합니다. 보면서 열심히 따라하고 있습니다. 저는 비전공자라서 처음 들을 때는 물음표의 연속이었지만 신기하게 두번째 들을 때는 이해가 되고 점점 따라하기 수월해지고 있습니다. 다름이 아니라 두가지 질문이 있어서 문의드립니다. 1. ec2 linux/Ubuntu를 ssh로 접속한 상태에서 크롬페이지를 새창으로 뿅 띄우는 것이 안됩니다 ㅠㅠ 처음에 스크립트를 실행했을 때는 아래와 같은 에러 때문에 실행이 안되었습니다. AttributeError: 'str' object has no attribute 'capabilities' 여러가지 찾아보니 이유는 셀리니움이 업데이트 되어서 이제 크롬 드라이버를 다운받지 않아도 된다고 하더라구요. 그래서 아래와 같이 추가하고 경로를 비우고 실행하면 된다고 합니다. chrome_options = webdriver.ChromeOptions() driver = webdriver.Chrome () 그랬더니 에러를 뿜지 않고 그냥 스크립트가 종료되어 버리는 것 같아요. 다만 sudo를 이용해서 스크립트를 실행하면 아래와 같은 에러가 나타납니다. ===== ubuntu@ip-172-31-43-47:~/bigdata$ sudo python3 5_ chrome.py Traceback (most recent call last): File "/home/ubuntu/bigdata/5_chrome.py", line 4, in <module> driver = webdriver.Chrome() File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/chrome/webdriver.py", line 45, in init super().__init__( File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/chromium/webdriver.py", line 61, in init super().__init__(command_executor=executor, options=options) File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/remote/webdriver.py", line 209, in init self.start_session(capabilities) File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/remote/webdriver.py", line 293, in start_session response = self.execute(Command.NEW_SESSION, caps)["value"] File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/remote/webdriver.py", line 348, in execute self.error_handler.check_response(response) File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/remote/errorhandler.py", line 229, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.SessionNotCreatedException: Message: session not created: Chrome failed to start: exited normally. (session not created: DevToolsActivePort file doesn't exist) (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.) Stacktrace: #0 0x562ff172ef83 <unknown> #1 0x562ff13e7cf7 <unknown> #2 0x562ff141f60e <unknown> #3 0x562ff141c26e <unknown> #4 0x562ff146c80c <unknown> #5 0x562ff1460e53 <unknown> #6 0x562ff1428dd4 <unknown> #7 0x562ff142a1de <unknown> #8 0x562ff16f3531 <unknown> #9 0x562ff16f7455 <unknown> #10 0x562ff16dff55 <unknown> #11 0x562ff16f80ef <unknown> #12 0x562ff16c399f <unknown> #13 0x562ff171c008 <unknown> #14 0x562ff171c1d7 <unknown> #15 0x562ff172e124 <unknown> #16 0x7fc769a94ac3 <unknown> ==== 혹시나 해서 linux 인스턴스에서 다시 수행해보았지만 linux에서는 sudo 일 때와 아닐 때 모두 에러 메시지는 똑같네요... ㅠㅠ 뒤에 실습 2에서 linkedIn을 제어할 때에도 새롭게 창이 뜨는 것으로 보이니 해결하고 넘어가야 할텐데 답을 찾을 수가 없습니다 ㅠㅠ 무엇이 문제일까요? 도와주세요 선생님 ㅠㅠ 2."https://docs.python.org/3.5/library/"페이지를 크롤링해오는 스크립트가 에러 없이 일부만 실행되는 현상이 있는데 이유를 모르겠습니다. 스크립트를 실행하면 딱 이렇게 pygments.css 까지만 크롤링이 되고 그 다음 단계인 /library/intro.html 아래 페이지 정보는 크롤링되지 않은 상태에서 작업이 끝납니다. ====================== (venv) [ec2-user@ip-xxx-xxx bigdata]$ python3 practice1.py downloaded = https://docs.python.org/3.5/library/ analyzed html = https://docs.python.org/3.5/library/ downloaded = https://docs.python.org/3.5/_static/pydoctheme.css downloaded = https://docs.python.org/3.5/_static/pygments.css ====================== 몇번이나 공유해주신 코드와 비교해보아도 틀린 부분을 못찾겠네요 ㅠㅠ 스크립트가 에러를 뿜지도 않고 일단 일부 정보라도 가져오는 상태라 더 확인이 어렵습니다 ㅠㅠ 혹시 이런 경우에 대해 어떻게 해결하는지 아실까요? 새해 복 많이 받으세요!

  • 빅데이터
  • hadoop
  • elasticsearch
  • logstash
  • Kibana
  • apache-spark
  • s3-bucket
Hannah Uh 댓글 2 좋아요 0 조회수 604

병렬처리 질문드립니다.

해결됨

실리콘밸리 엔지니어와 함께하는 Apache Airflow

안녕하세요 선생님 🙂 airflow 실습중에 airflow의 병렬처리에서 메시지 큐가 어떻게 처리되는지 궁금하여 질문드립니다! celery와 k8s를 병렬처리에 사용함에 있어서 메시지 큐를 별도로 설정하지 않는것 같은데요. 이 둘은 메시지 큐를 알아서 처리해주는건거요? celery와 k8s를 사용한 병렬 처리방식은 이해못해서 일단은 concurrent 패키지의 ThreadPoolExecutor 사용하여 병렬 처리를 하였습니다. airflow에서 병렬처리시 일반적으로 threadPool을 사용하는지도 궁금합니다. threadPool이 일반적이지 않다면 어떤 방식으로 병렬 처리를 하는지 궁금합니다! 항상 감사합니다! 🙂

  • python
  • 빅데이터
  • 데이터-엔지니어링
  • airflow
JP 댓글 2 좋아요 1 조회수 572

3.0에서 추가된 shuffle_hash, shuffle_replicate_nl hint는 어떤 상황에서 쓰는게 좋을까요?

미해결

실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크

3.0에서 추가된 merge, shuffle_hash, shuffle_replicate_nl hint는 어떤 상황에서 효과적일까요? 문서에서는 아쉽게도 각 힌트가 뭘 수행하는 지와 BROADCAST > MERGE > SHUFFLE_HASH > SHUFFLE_REPLICATE_NL 순서로 힌트 우선순위를 정한다는 것만 적혀있네요. spark optimizer가 어떤 기준으로 join 전략을 택하는지도 알려주시면 좋을 것 같아요.

  • 머신러닝
  • 빅데이터
  • apache-spark
김문수 댓글 1 좋아요 1 조회수 362

슬라이드 자료

해결됨

빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술

아래와 같은 양식으로 질문을 남겨주세요 🙂 수업을 들으시면 이해하기 어려운 부분이 있으면 상세히 질문을 남겨주세요. 서로 Tone and Manner 를 지키며, 즐거운 수업 시간을 만들어보아요. 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 강의를 통해 열심히 공부중인 학생 입니다. 혹시 슬라이드 자료를 따로 열람 가능한지 여쭙고 싶습니다. 좋은 강의 잘듣고 공부하고 있습니다. 감사합니다.

  • 빅데이터
  • hadoop
  • elasticsearch
  • logstash
  • Kibana
  • apache-spark
  • s3-bucket
pixlo 댓글 1 좋아요 0 조회수 313

강의자료

해결됨

빅데이터 클러스터 구축 패키지; 성공을 향한 로드맵

혹시 강의 자료는 어디서 얻을 수 있을까요? 개인적으로 인프런 강의 구매한 사람 입니다.

  • 빅데이터
  • hadoop
  • apache-spark
  • 데이터-엔지니어링
  • cluster
Yeonwoo Jung 댓글 1 좋아요 0 조회수 303

데이터 엔지니터의 현 트렌드가 궁금합니다

해결됨

실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크

안녕하세요 완강후 카산드라 db 와 stream join한 강의를 다시 보고 카산드라에 대한 개념에 공부를 하던 와중 데이터 엔지니어의 현 트렌드에 대한 내용이 갑자기 궁금한데 물어볼곳이 없어서 질문을 좀 드려봅니다.. 제가 생각하기에 현 트렌트가 데이터 엔진 프레임워크 : spark 스케줄링 및 파이프라인 형성등 : airflow 웨어하우스 : presto nosql : mongodb rdb : postgres message broker : kafka 분석툴 : tableau 등등 이정도로 요즘 잘나가는 프로그램들인것 같은데 맞을까요? spark stream을 사용하면서 mongodb 보다 cassandra를 사용하는게 좀더 효율이 좋은가요? 개발자도 결국 트렌드에 맞게 공부하는게 자신의 커리어를 잘 쌓는게 아닐까 하는 생각이 요즘 계속 머리속에 맴도네요

  • 머신러닝
  • 빅데이터
  • apache-spark
오늘했던거 까먹는사람 댓글 1 좋아요 1 조회수 519

Hadop 3.2.1 버전 지원을 안하는거 같습니다

해결됨

Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기

3.3.6 버전으로 진행 하여도 상관 없나요? 혹시.. 리뉴얼.. 계획이 있으신가요.. 터미널 창이 너무 바닥 까지 있어서 초록생 진행 바와 터미널 창이랑 계속 겹쳐서 보기가 힘듭니다..ㅠ

  • 빅데이터
  • hadoop
  • 데이터-엔지니어링
댓글 1 좋아요 0 조회수 402

복합명사 정제 관련 문의

미해결

[실전]텍스톰 TEXTOM 실전 강의: 빅데이터 논문 작성을 위한 텍스트 분석/텍스트마이닝

선생님 안녕하세요~ 실습을 해보다 의문점이 생겨 글을 남깁니다. 정제과정에서 혹시 두 단어로 만들어진 복합명사, 예를 들어 “국제법” 같은 경우 “국제” 와 ”법“으로 분석이 되는데요. 원글에 국제법으로 표기된 경우 이를 나누지 않고 ”국제법“으로 분석이 되게 할수 있는 방법이 있을까요? 이것저것 해봤는데 적용이 안되어 선생님께 도움을 청합니다! 감사합니다^^

  • 빅데이터
  • 텍스트마이닝
  • textom
해리 댓글 1 좋아요 0 조회수 265

인기 태그

인프런 TOP Writers

주간 인기글