R로 하는 웹 크롤링 - 입문편대시보드

주식데이터 크롤링을 수강하고 있습니다. htmltab 패키지 설치 후 url를 정상적으로 입력을 했는데도 Error: Couldn't find a table. 이라는 메세지가 나옵니다. 무엇이 잘못되었을까요...   

> install.packages("htmltab") WARNING: Rtools is required to build R packages but is not currently installed. Please download and install the appropriate version of Rtools before proceeding: https://cran.rstudio.com/bin/windows/Rtools/ ‘C:/Users/bj449/AppData/Local/R/win-library/4.2’의 위치에 패키지(들)을 설치합니다. (왜냐하면 ‘lib’가 지정되지 않았기 때문입니다) Warning in install.packages : package ‘htmltab’ is not available for this version of R A version of this package for your version of R might be available elsewhere, see the ideas at https://cran.r-project.org/doc/manuals/r-patched/R-admin.html#Installing-packages >htmltab 설치하면 이런 문구가 뜨네요. 수동으로 설치를 시도해도 장 안되요.R tudio 버전은 4.2.2 입니다. 

문의 드립니다.클리앙 강의 듣고 있습니다.코드b2 <- b[str_detect(b,"subject_fixed")]title <- str_extract(b2,("(?<=\">).*(?=</span>)")) #정규 표현식 ">로 시작해서 </span> 끝나는 것들의 가운데를 뽑는다"b2  3. 실제 출력[2] "\t\t\t\t\t\t<span class=\"subject_fixed\" data-role=\"list-title-text\" title=\"샤오미 밴드 7 프로 쿠팡 떴네요.\">" 온라인 강의 출력의 경우앞 내용이 들어가고 ....</span>"  문의내용온라인 강의 시 4번 처럼 </span>" 끝나야 하나 3번 처럼 출력이 되어 문의 드립니다

정말 이쪽은 전혀 모르는 사람입니다. 지난번 코코님의 입문과정부터 해서 계속 강의를 듣고 있는데, 아직 답변이 없으시지만, 계속 모르는 질문을 올리고 있습니다. 그때도 그랬지만, for문 들어가면서부터 너무 빨라서 ㅠ.ㅠ 내용이해를 못하고 코드 넣기에 급급하고 있는데요.   아래와 같이 화면을 비교해가면서 그대로 넣었을때 코드에 맞는 값이 나와도 왜 나왔는지는 설명하지 못하는 상황입니다만... 똑같이 넣어도 오류가 나오는 부분이 있습니다.(물론 파일의 상황이 다릅니다만, 그 상황에 맞게 넣었거든요.)   보시고 아래 빨간 에러부분(노란색 표시) 왜 나왔는지.. 어떻게 해야하는건지 설명부탁드립니다.   그리고 아주 기초적인 부분... 예를 들어서 앞서 올린 질문에도 있는데 적용 이전으로 돌아가는 부분이나, 이런 것들을 단축키를 사용하시는 것 같은데.. 모르는 사람들은 이것부턴가 너무 헷갈려서요. 나중에 수업 업데이트 하실때 참조해주시면 좋겠습니다.          

 items %>% html_nodes(css = 'dl dd:nth-child(2) span') %>% html_text() > character(0) 아래 '장점', '단점'을 크롤링 하려고 하는데 자꾸 character(0) 이라고 결과가 뜹니다. css 모두 확인했습니다.   다른 명령은 잘 나오는데요...  items %>% html_nodes(css = 'div.content_top_ty2 span:nth-child(2)') %>% html_text() [1] "미디어/홍보"     "디자인"          "디자인"          "마케팅/시장조사" "미디어/홍보"      혹시 방법을 알 수 있을까요? ㅠㅠㅠ

엔제리너스 클롤링 과정 중에 htmltab으로 에러가 나서 XML을 설치한 후에 설치한 후에 for문 안에서 readHTMLTable을 불러 왔습니다. 그런데 이것도 에러가 생겨서 더이상 진행을 하지 못했습니다. 이런 경우 어떤 패키지를 새로 설치해야 하는 건지, 다른 코드를 짜야 하는 건지 궁금합니다.    

  강의 들으면서 디시인사이드 크롤링 끝냈습니다. 저는 클리앙 수업에 나왔던 것처럼 크롤링 중에 오류가 나서 else문을 넣어 추가했습니다. 보시는 것처럼 크롤링은 모두 끝났는데, 마지막에 data2로 저장하는 중에 오류가 났습니다. 행렬이 맞지 않는다는 것 같은데, 이런 경우에는 어떻게 수정 작업을 거쳐야 하는지 궁금합니다.    

stu(m3) 결과가 'data.frame': 8 obs. of  6 variables:  $ v1: num  1 2 1 2 1 2 1 2  $ v2: num  3 4 3 4 3 4 3 4  $ v3: num  5 6 5 6 5 6 5 6  $ v4: int  1 2 3 4 5 6 7 8  $ v5: int  2 3 4 5 6 7 8 9  $ v6: chr  "홀수" "짝수" "홀수" "짝수" ...  인데 왜 v1,v2,v3의 데이터타입은 숫자이고 v4,v5은 정수인가요?

안녕하세요 코코님, 코코님 강의 덕분에 웹크롤링 입문에 이어 시각화까지 수강중에 있습니다. 한가지 여쭤볼게 있습니다:) 현 강의에서는 dc인사이드, 클리앙 등 페이지가 뒤로 넘어가는 웹페이지 크롤링을 알려주셨는데요! 제가 한 회사의 면접을 앞두고 구글플레이 앱 리뷰를 크롤링하여 시각화하고자 하다보니 이 경우에는 어떻게 리뷰 글을 크롤링할지 모르곘더라구요 ㅠㅠ 페이지 넘버가 없고 한페이지에 모든 리뷰가 스크롤 내릴떄마다 나와서 헷갈립니다. 페이지소스로 리뷰글들을 보다보면 공통되는 규칙이 안보이네요 ㅠㅠ 페이지 캡쳐해서 같이 첨부드립니다. (https://play.google.com/store/apps/details?id=com.percent.royaldice&hl=ko&gl=US&showAllReviews=true) 답변 주시면 적용시켜 시도해보겠습니다! 감사합니다.

짧더라도 에제파일이 제공되었으면 좋겠습니다. (유료강의 인데 그래도 제공되면 좋겠네요)

이런 메세지가 뜨면서 b가  생성되지 않네요. 참고로 과정은 이러했습니다.

readHTMLTable이 안되서 다르게 했는데 1 페이지는 잘 됐습니다. 근데 2 페이지부터 안되네요..ㅠ 무엇이 문제인가요?ㅠㅠ

htmltab 라이브러리가 지난 주 삭제되어 다운로드가 안되는데 대체 라이브러리가 있을까요? readHTMLTable() 도 안되네요..

안녕하세요, 클리앙 크롤링편을 실습중인데 아래와 같이 오류가 뜨고 진행이 되지 않아 문의남깁니다. url <- "https://www.clien.net/service/board/park?&od=T31&po=0" b<-readLines(url, encoding = "UTF-8") b2<-b[str_detect(b, "subject_fixed")] b2 ---  [1] "\t\t\t\t\t\t<span class=\"subject_fixed\" data-role=\"list-title-text\" title=\"인권위는 성추행이 아니라 성희롱으로 표현했네요\">"                     [2] "\t\t\t\t\t\t<span class=\"subject_fixed\" data-role=\"list-title-text\" title=\"역시 낙연이 형이야! 사면해주러 왔구나.jpg\">"     --- str_extract(b2,("(?<=title=\").*(?=\">")")) --- > str_extract(b2,("(?<=title=\").*(?=\">")")) + str_extract(b2,("(?<=title=\").*(?=\">")")) 에러: 예상하지 못한 문자열 상수(string constant)입니다. in: "str_extract(b2,("(?<=title=\").*(?=\">")")) str_extract(b2,("" --- 어디가 잘못된 걸까요..? 답변 부탁드립니다..!

안녕하세요 선생님, 강의 잘 듣고 있는 수강생 입니다.  현재 DC인싸이트 크롤링 부분 수강중 이온데, 오늘 Rstudio를 실행하니 아래와 같이 한글로 작성한 주석 부분이 깨져서 출력됩니다. 메모장에서도 코드 바꿔가며 불러오기 해놨으나 현상은 동일 했습니다. 조언 부탁 드립니다.  # (1) ?????? / ????????? / URL ???????????? #     1) ???????????? #     2) ????????? ????????????/?????????/URL?????? # (2) ????????? ???????????? url<-"https://gall.dcinside.com/board/lists/?id=superidea&page=1" b<-readLines(url, encoding = "UTF-8") # install.packages("stringr") library(stringr) str_detect(b,"gall_tit ub-word") index<-which(str_detect(b,"gall_tit ub-word"))[-1]  #True ?????? ?????? ???????????? ??????????????? ????????? ?????? b[index+1]  #"gall_tit ub-word" ?????? ????????? ??????????????? +1 b2<-b[index+1]   # ????????? URL ???????????? ??????, str_extract()??? ????????? ?????????

제가 한 코딩은 아래와 같습니다. final_data <- NULL i<-1 for(i in 1:length(folder_list)){     folder_list[i]   setwd(paste0("/Users/seungwonjeong/R",folder_list[i]))   getwd()   file_list <- list.files()   j <-2   for(j in 1: length(file_list)){   data <- read.csv(file_list[j])   final_data <- rbind(final_data, data)   cat("\n", i, "_", j)   } 뭐가 문제인지 final data와 data가 데이터로 추가가 되지 않습니다. 사실 파일 불러오는 것에서부터 이해가 안됐는데, 파일을 새로운 디스크에 만든 것이 아니라 데스크탑 내에 폴더로 만들었고 지금까지 항상 워킹 디렉터리는 코딩으로 설정하지 않고 마우스로 files -> more (설정아이콘)에서 set as working directory로 해 왔습니다. setwd부터 잘못된건가요? 제 파일 경로를 몰라서 getwd해서 나온 주소 그대로 복붙해서 setwd(paste~에다가 넣어서 실행했는데 경고문구가 뜨더군요 ㅠㅠ.  질문을 정리하자면, 파일을 저렇게 막무가내로 불러온게 문제의 원인인건가요 아니면 다른데서 원인을 찾아야 할까요?

안녕하세요 write.csv로 저장한뒤 그 파일을 열면 한글이 깨짐니다. 그 동안 인터넷을 검색해서 다음의 방법을 시도해 봤는데 해결이 안되네요.  write.csv에서 fileEncoding을 UTF-8으로 해봤는데 안됨. csv파일을 열때 옵션에서 UTF-8으로 인코딩 지정해서 열어도 안됨. 엑셀에서 csv 를 UTF-8로 불러와도 안됨. 그러면 R이 저장한 파일이니 R에서는 깨진 파일을 원래대로 읽어 오려나 하고 저장한 csv를 그대로 불러오니 R도 깨진 데이터를 불러옴. 어떤 방법이 있을까요? 감사합니다.

출력창에서 "[1, ]"에서의 숫자 옆의 ","는 무슨 의미인가요? 그냥 지울 수 없나요?

강의를 들으며 실습을 해보고 있습니다. m3$v6<-ifelse(m3$v1 %%2==0,"짝수","홀수") 실행시, Error in '$<-.data.frame'('*tmp*, v6, value=logical(0)):replacement has rows,data has 8 이라는 오류가 발생하는데 왜 이런걸까요,,,

url<-"http://www.angelinus.com/Shop/Shop_Ajax.asp?page=1" library(htmltab) #a<-htmltab(url,encoding="UTF-8") library(XML) b<-readHTMLTable(url,encoding="UTF-8") 이렇게 하였는데 Error가 failed to load external entity라는 오류가 뜹니다. 아예 XML이 안된다고 하는데.. 왜 이럴까요?