안녕하세요LDA 분석하는 강의에서 데이터의 특수문자나 외자 등 불용어들이 깔끔하게 정리가 안되서 불용어 제거하는 팁을 보여주셨었잖아요.df['title_contents']=df['title_contents'].str.replace(pat="는",repl="")이 과정을 데이터 전처리 단계에서 형태소 추출하는 단계에서도 적용할 수 있는 것 같아서 아래와 같이 해보았는데 에러 메세지가 떠서 .. 어떤 부분이 문제인지 좀 여쭤보고 싶습니다.도움 부탁드립니다. 감사합니다.

안녕하세요아까 문의드렸던 tdm 부분은 잘 해결되었습니다. 빠른 답변 감사드립니다.하지만 어제 문의드렸었던 워드클라우드 이미지 만들때 쓰는 아래 코드가 여전히 에러입니다.cloud=wc.fit_words(count_dic)답변주신대로 폰트 적용되어 있는데 왜 자꾸 안되는지 모르겠습니다..도와주세요 

안녕하세요 어제 워드클라우드 관련 다음 코드 cloud=wc.fit_words(count_dic) 오류 관련해서 질문드렸었습니다.답변 주신대로 폰트도 코랩 폴더에 업로드해서 업로드된 경로를 넣어줬습니다.오늘 다시 해보려고 하니까 아래 그림과 같이 이번에는 dtm 코드에서 또 에러가 나는데 이거 저는 도대체 왜 안되는 걸까요? ㅠㅠ도와주세요 

안녕하세요 구글 코랩에서 화면대로 빅카인즈에서 데이터 추출해서 단어 빈도분석 및 워드클라우드 시각화 하는 방법 배우고 있습니다. 그런데 cloud=wc.fit_words(count_dic) 코드가 다음과 같이 에러가 뜨면서 실행이 되지 않습니다. 확인 부탁드립니다. 감사합니다!! --------------------------------------------------------------------------- OSError Traceback (most recent call last) <ipython-input-57-63f7188bfec7> in <cell line: 1>() ----> 1 cloud=wc.fit_words(count_dic) 5 frames/usr/local/lib/python3.10/dist-packages/PIL/ImageFont.py in getbbox(self, text, mode, direction, features, language, stroke_width, anchor) 419 :return: ``(left, top, right, bottom)`` bounding box 420 """ --> 421 size, offset = self.font.getsize( 422 text, mode, direction, features, language, anchor 423 ) OSError: invalid outline 

안녕하세요 아래 답글에 남겼었는데, 질문 몇가지가 있는데요,jpype 설치가 잘 진행이 되지 않는 것 같은데 댓글 한 번 확인 부탁드려요!그리고 jpype 를 설치하지 않고 Konply 만 설치해도 되나요 ???바쁘신데 감사합니다!

안녕하세요.파이썬 초보인데 강의보면서 어려워도 따라해보고 있습니다.2강 까지 title_content 열에 제목+본문 내용의 형태소 추출 하는 것 까지 하고 나서 3강에서 추출된 내용을 df=head()로 확인했을때딱 title_content 부분만 나오던데 이거는 하는 방법이 따로 있나요? 저는 전체 열이 다 나오는데 엑셀에서 파일을 지우는 건지 아니면 따로 title_content 열만 나오게 하는 코딩을 해야 하는지 궁금합니다! 

Konlpy 설치 페이지에서 jpype 설치 링크가 Not Found가 나오는데. 어디에서 설치파일을 다운받을 수 있을까요..?https://konlpy-ko.readthedocs.io/ko/v0.4.3/install/ 이 링크가 막혀있습니다.다운이 되어야 강의를 수강 할 수 있을 것 같은데 확인부탁드립니다.

Konlpy 설치 페이지에서 jpype 설치 링크가 Not Found가 나오는데. 어디에서 설치파일을 다운받을 수 있을까요..?https://konlpy-ko.readthedocs.io/ko/v0.4.3/install/ 이 링크가 막혀있습니다.

선생님께서 알려주신대로.java > jpype > konlpy 설치를 마치고그 다음 진도를 진행하려 하는데kkma = Kkma()를 실행하는 순간 kernel dead 메시지가 나면서더이상 실행이 안됩니다. googling을 통해서 여러 해법을찾아 보았지만, 해결이 안되고 있는데요... 도움 부탁드립니다.jupyter_notebook의 config 파일 생성 후... buffer_size 도10000000000 으로 상향 조정하는 등의 방법을 써도 해결되지가 않습니다.

이전에 고객 설문데이터를 가지고 보고서를 만들었던 경험이 있습니다.객관식은 전체 응답기준으로 엑셀로 매크로를 이용하여 그래프를 만들면 되는데문제는 주관식입니다.주관식은 요약을 보고서에 담아야 되어서, 전체를 읽어보고 전체 의견요약을 하고,긍정의견, 부정의견을 나누고 그에 대한 요약을 작성을 일일이 사람이 전체를 읽어서 처리를 합니다.건수가 작으면 혼자 하면 되는데 20만건 데이터 처리는 혼자는 하기 힘들고 여러명이 나눠서 해야만 됩니다. 데이터가 많을 경우 ChatGPT로 요약을 해보니 최대 처리할 수 있는 데이터 크기가 32k까지 밖에 처리가 되지 않아 몇%만 샘플링해서 요약하는 방법밖에 없었습니다. 그럼 샘플링에 따라서 고객의견이 정확하게 반영이 되 지않아 결국은 여러명이 수작업으로 진행했습니다. 자연어 처리로 자동으로 긍정, 부정을 분류까지는 가능할것도 같은데 분류된 데이터 가지고 긍정의견의 요약, 부정의견의 요약을 딥러닝으로 해결이 가능할까요?아니면 어떤 좋은 방법이 있을까요?

강사님 안녕하세요. 책보면서 강의 열심히 듣고 있습니다. 제가 한국어 텍스트 감성분석을 프로젝트로 하고 싶은데요.현 강의 목차에는 감성분석이 없더라고요.제가 놓친 걸까요?이번 강의에서 감성분석을 다루는 부분이 있다면 알려주시면 감사하겠습니다.아직 없다면, 감성분석 강의도 듣고 싶습니다.항상 감사합니다:)!

한국어 분석 말고, 영어 분석은 어떻게 다른지 업데이트 해주 실수 있을까요?

여러개의 pdf 파일기준으로 LLM에게 답변하거나 요약하라고 할때pdf 데이터를 vectordb에 임베딩하여 조회하는 방법만 알고있었는데 pdf를 txt로 변환후에 langchain 함수를 이용하고 vectordb를 이용하지 않아도LLM이용하여 답변이 가능하던데요. 어떤게 좋은 방법일까요?from langchain.chains.question_answering import load_qa_chainfrom langchain.chains import AnalyzeDocumentChainqa_chain = load_qa_chain(model, chain_type="map_reduce")qa_document_chain = AnalyzeDocumentChain(combine_docs_chain=qa_chain) 데이터가 많으면 vectordb를 쓰고, 많지 않으면 langchain 함수를 이용하는건가요?다른 방법은 또 어떤게 있을까요?

대량의 단어 편집 시, 수정 및 삭제 데이터 파일(엑셀)을 만든 후, 파일을 어디에 업로드 해야 하나요? 

선생님 안녕하세요~ 실습을 해보다 의문점이 생겨 글을 남깁니다.  정제과정에서 혹시 두 단어로 만들어진 복합명사, 예를 들어 “국제법” 같은 경우 “국제” 와 ”법“으로 분석이 되는데요. 원글에 국제법으로 표기된 경우 이를 나누지 않고 ”국제법“으로 분석이 되게 할수 있는 방법이 있을까요? 이것저것 해봤는데 적용이 안되어 선생님께 도움을 청합니다!감사합니다^^

선생님 안녕하세요.수업 재밋게 잘 듣고 있습니다.덕분에 쉽게 따라할 수 있을 것 같아요. 궁금한게 있어서요. 강의 섹션4 연구논문 관련 작성 강의에 사용한 "영어 인공지능 앱 리뷰"와 관련된 논문을 사용하셔서 강의를 진행해 주셨는데요, 해당 논문의 출처를 알 수 있을까요?

선생님 덕분에 많이 배우고 있습니다.선생님이 쓰신 이진규, & 이창배. (2022). 자연어 처리 (NLP) 기반 텍스트마이닝을 활용한 소나무에 대한 국내외 연구동향 (2001∼ 2020) 분석. 농업생명과학연구, 56(2), 35-47. 논문을 보니 국외 논문도 연구동향을 진행하셨는데요.Web of science 사이트에서 RISS처럼 크롤링 하는 방법을 간단히 소개해 주실 수 있으신가요?그리고 선생님이 하신 강의를 보다보면 대부분의 데이터 처리가 한글 기반으로 되어 있습니다. 혹시 TEXTOM을 사용할때 언어가 영어인 경우에는 잘 구동이 안 되나요? (선생님께서는 파이썬 라이브러리를 사용하셨더라구요) 혹시 영어의 경우에는 TEXTOM이 잘 안 되어서 다른 프로그램을 사용하셨나 해서요.항상 강의 잘 듣고 있습니다.감사합니다.

선생님 안녕하세요. 수업 재밋게 잘 듣고 있습니다. 덕분에 쉽게 따라할 수 있을 것 같아요. 궁금한게 있어서요. 강의 섹션4 연구논문 관련 작성 강의에 사용한 "영어 인공지능 앱 리뷰"와 관련된 논문을 사용하셔서 강의를 진행해 주셨는데요, 해당 논문의 출처를 알 수 있을까요?

안녕하세요?선생님 덕분에 재밌게 텍스트마이닝에 대한 공부를 시작하게 되었습니다.좋은 강의 자료 정말 너무너무 감사드립니다. 다름이 아니라 구글학술검색(google scholar)의 검색 결과를 추출할 수 있는 방법이 있는지 여쭙고 싶습니다. 특정 검색어를 검색할 시 나오는 검색결과 전체를 목록화 하고 싶은데요.. (선생님께서 RISS 검색하셨던 것 처럼요!) 혹시 가능한 방법이 있다면 공유해 주실 수 있을까요?  감사합니다. 

강의를 들으며 급하게 연구동향분석을 진행하고 있습니다. 그런데 데이터 정제, 편집 부분부터 현제 텍스톰의 메뉴와 다소 차이가 있는데, 텍스톰이 바뀐건지요? 아니면 제가 뭔가를 잘못 하고 있는건지....그리고 정제요청 후 이틀동안 계속 '정제중'으로 뜨는 건 왜 그럴까요? 데이터는 40kb정도 입니다. 도와주세요~