Thumbnail
BEST 개발 ・ 프로그래밍 프로그래밍 언어
R로 하는 웹 크롤링 - 입문편
(4.9)
17개의 수강평 ∙ 171명의 수강생

33,000원

지식공유자 : 코코
총 16개 수업˙총 3시간 26분
평생 무제한 수강
수료증 발급 강의
입문 대상
내 목록 추가 202 공유
bee j 프로필

클리앙 크롤링 실습 중 문의사항 bee j 19시간 전
안녕하세요, 클리앙 크롤링편을 실습중인데 아래와 같이 오류가 뜨고 진행이 되지 않아 문의남깁니다. url <- "https://www.clien.net/service/board/park?&od=T31&po=0" b<-readLines(url, encoding = "UTF-8") b2<-b[str_detect(b, "subject_fixed")] b2 ---  [1] "\t\t\t\t\t\t<span class=\"subject_fixed\" data-role=\"list-title-text\" title=\"인권위는 성추행이 아니라 성희롱으로 표현했네요\">"                     [2] "\t\t\t\t\t\t<span class=\"subject_fixed\" data-role=\"list-title-text\" title=\"역시 낙연이 형이야! 사면해주러 왔구나.jpg\">"     --- str_extract(b2,("(?<=title=\").*(?=\">")")) --- > str_extract(b2,("(?<=title=\").*(?=\">")")) + str_extract(b2,("(?<=title=\").*(?=\">")")) 에러: 예상하지 못한 문자열 상수(string constant)입니다. in: "str_extract(b2,("(?<=title=\").*(?=\">")")) str_extract(b2,("" --- 어디가 잘못된 걸까요..? 답변 부탁드립니다..!

0
Sean Yeon 프로필

Rstudio 에서 한글로 작성한 주석이 깨집니다. Sean Yeon 11일 전
안녕하세요 선생님, 강의 잘 듣고 있는 수강생 입니다.  현재 DC인싸이트 크롤링 부분 수강중 이온데, 오늘 Rstudio를 실행하니 아래와 같이 한글로 작성한 주석 부분이 깨져서 출력됩니다. 메모장에서도 코드 바꿔가며 불러오기 해놨으나 현상은 동일 했습니다. 조언 부탁 드립니다.  # (1) ?????? / ????????? / URL ???????????? #     1) ???????????? #     2) ????????? ????????????/?????????/URL?????? # (2) ????????? ???????????? url<-"https://gall.dcinside.com/board/lists/?id=superidea&page=1" b<-readLines(url, encoding = "UTF-8") # install.packages("stringr") library(stringr) str_detect(b,"gall_tit ub-word") index<-which(str_detect(b,"gall_tit ub-word"))[-1]  #True ?????? ?????? ???????????? ??????????????? ????????? ?????? b[index+1]  #"gall_tit ub-word" ?????? ????????? ??????????????? +1 b2<-b[index+1]   # ????????? URL ???????????? ??????, str_extract()??? ????????? ?????????

3
‍정승원[학생](정경대학 정치외교학과) 프로필

반복문 활용하기에서 질문 있습니다. ‍정승원[학생](정경대학 정치외교학과) 29일 전
제가 한 코딩은 아래와 같습니다. final_data <- NULL i<-1 for(i in 1:length(folder_list)){     folder_list[i]   setwd(paste0("/Users/seungwonjeong/R",folder_list[i]))   getwd()   file_list <- list.files()   j <-2   for(j in 1: length(file_list)){   data <- read.csv(file_list[j])   final_data <- rbind(final_data, data)   cat("\n", i, "_", j)   } 뭐가 문제인지 final data와 data가 데이터로 추가가 되지 않습니다. 사실 파일 불러오는 것에서부터 이해가 안됐는데, 파일을 새로운 디스크에 만든 것이 아니라 데스크탑 내에 폴더로 만들었고 지금까지 항상 워킹 디렉터리는 코딩으로 설정하지 않고 마우스로 files -> more (설정아이콘)에서 set as working directory로 해 왔습니다. setwd부터 잘못된건가요? 제 파일 경로를 몰라서 getwd해서 나온 주소 그대로 복붙해서 setwd(paste~에다가 넣어서 실행했는데 경고문구가 뜨더군요 ㅠㅠ.  질문을 정리하자면, 파일을 저렇게 막무가내로 불러온게 문제의 원인인건가요 아니면 다른데서 원인을 찾아야 할까요?

1
이청로 프로필

csv 한글깨짐 현상 이청로 1달 전
안녕하세요 write.csv로 저장한뒤 그 파일을 열면 한글이 깨짐니다. 그 동안 인터넷을 검색해서 다음의 방법을 시도해 봤는데 해결이 안되네요.  write.csv에서 fileEncoding을 UTF-8으로 해봤는데 안됨. csv파일을 열때 옵션에서 UTF-8으로 인코딩 지정해서 열어도 안됨. 엑셀에서 csv 를 UTF-8로 불러와도 안됨. 그러면 R이 저장한 파일이니 R에서는 깨진 파일을 원래대로 읽어 오려나 하고 저장한 csv를 그대로 불러오니 R도 깨진 데이터를 불러옴. 어떤 방법이 있을까요? 감사합니다.

1
jhdia 프로필

클리앙 크롤링-1 총결과를 출력할 때 jhdia 1달 전
출력창에서 "[1, ]"에서의 숫자 옆의 ","는 무슨 의미인가요? 그냥 지울 수 없나요?

1
yoori.choi 프로필

data frame 질문 yoori.choi 2달 전
강의를 들으며 실습을 해보고 있습니다. m3$v6<-ifelse(m3$v1 %%2==0,"짝수","홀수") 실행시, Error in '$<-.data.frame'('*tmp*, v6, value=logical(0)):replacement has rows,data has 8 이라는 오류가 발생하는데 왜 이런걸까요,,,

1
문성일 프로필

질문이 있습니다. 문성일 3달 전
url<-"http://www.angelinus.com/Shop/Shop_Ajax.asp?page=1" library(htmltab) #a<-htmltab(url,encoding="UTF-8") library(XML) b<-readHTMLTable(url,encoding="UTF-8") 이렇게 하였는데 Error가 failed to load external entity라는 오류가 뜹니다. 아예 XML이 안된다고 하는데.. 왜 이럴까요?

1
ezfarmlivestock 프로필

클리앙 크롤링-1 hit 관련 질문 ezfarmlivestock 3달 전
안녕하세요, 현재 클리앙 공지가 2개라 hit <- (str_extract(b3, ("(?<=hit\">).*(?=</span>)"))[-1])[-1] 식으로 작성을 했는데, 이 방법 외에 다른 방법이 있는지 궁금합니다.

1
이지인 프로필

("?<=).*(?=)") 활용 정규식 작성법 문의 이지인 6달 전
안녕하세요,  str_extract 정규식 이용해서  아래코드에서 타이틀만 추출하려고 할 경우  정규식 작성 방법 문의드립니다. title=\"언론권력이 검찰권력과 손잡을 때 벌어지는 일들\">"     아마도 title=\"로 시작해서 \">" 사이 값을 추출할 수 있도록 작성해야하는데 특수문자가 섞여있어서 헷갈리네요.  추가로 알려주신 정규식 이용해서 특정 문자열 추출하는게 초급자 입장에서 다소 어려운 것 같은데 혹시 더 쉽게 추출할 수 있는 방법이 있을까요?

1
백영은 프로필

클리앙 크롤링-1 질문 백영은 6달 전
게시글의 제목을 불러오는 부분에서 막혔는데요. 현재, 아래와 같이 subject_fixed 로 데이터를 불러오면 아래와같이 나오게됩니다. --------------------------------------------------------------------------------------------------------- > b2<-b[str_detect(b,"subject_fixed")] > b2  [1] "\t\t\t\t\t\t<span class=\"subject_fixed\" data-role=\"list-title-text\" title=\"바퀴달린 음악중심\">"                                        [2] "\t\t\t\t\t\t<span class=\"subject_fixed\" data-role=\"list-title-text\" title=\"간만에 음중 처음부터 보는데...노래들이..가수들이...;;;;\">"  [3] "\t\t\t\t\t\t<span class=\"subject_fixed\" data-role=\"list-title-text\" title=\"현금가 좀 싫네요ㅠㅠ\">"                                     [4] "\t\t\t\t\t\t<span class=\"subject_fixed\" data-role=\"list-title-text\" title=\"설문조사 업체가 20분간격으로 전화하네요.\">"                 [5] "\t\t\t\t\t\t<span class=\"subject_fixed\" data-role=\"list-title-text\" title=\"오랜만에 음악중심 보네요\">"                                 [6] "\t\t\t\t\t\t<span class=\"subject_fixed\" data-role=\"list-title-text\" title=\"지금 음중 나오는 노래...\">"                                 [7] "\t\t\t\t\t\t<span class=\"subject_fixed\" data-role=\"list-title-text\" title=\"우유 드시면 소화 잘되시나요??\">"                            [8] "\t\t\t\t\t\t<span class=\"subject_fixed\" data-role=\"list-title-text\" title=\"정신나가기 시작한 강원도 토지 값\">"                         [9] "\t\t\t\t\t\t<span class=\"subject_fixed\" data-role=\"list-title-text\" title=\"휴대폰 전면 카메라 자주 쓰시나요??\">"                      [10] "\t\t\t\t\t\t<span class=\"subject_fixed\" data-role=\"list-title-text\" title=\"아니 제이블랙 형님 앨범냈어요?!\">"                         --------------------------------------------------------------------------------------------------------- 따라서 수업에서 진행한 아래와 다른 시작과 끝을 지정해줘야할 것 같아서 아래와 같이 짰는데 안돌아가네요... 뭐가 문제인걸까요 ㅠㅠ > title<-str_extract(b2,("(?<=\title=\").*(?=">"")) Error in UseMethod("type") :    no applicable method for 'type' applied to an object of class "logical"

1
sejin1221 프로필

클리앙 크롤링 2에서 질문있습니다. sejin1221 7달 전
for문 돌릴 떄 1. content라는 변수를 NULL로 선언하는 것과 c()로 하는 것의 차이가 있나요? 2. for문 중에서 content<-c(content, b6) 대신 rbind(content, b6)로 하면 content앞에 b6라는 문자가 다 붙는 오류가 나는데  왜 그런건가요?

1
Yug Jin Kim 프로필

클리앙 싸이트 크롤링 질문 드립니다. Yug Jin Kim 9달 전
클리앙 싸이트 크롤링을 해보니 hit는 안 맞는듯합니다. 나중에 시간날때 확인한번 해주세요.. 공지사항이  2개가 있어서 그런것 같은데... 나머지는  잘되고.. 그래도 하나 하나 잘 배웠습니다. 감사합니다.

1
GKTJD 프로필

네이버 주식 크롤링 (1) 질문드립니다. GKTJD 9달 전
네이버 주식 크롤링 (1) 질문드립니다. b<-htmltab(url, encoding="UTF-8") 코드 입력하면  Argument 'which' was left unspecified. Choosing first table. 라고 에러가 나오면 어떡해야 하나요?

2
growingtak 프로필

str_extract 자세하게 설명좀 해주세요 growingtak 9달 전
str_extract(b2,("?<=|">.*......)이부분 자세히 설명해주세요....대충 설명하고 넘어가셔서..이해를 못하겠어요 ㅠ 다른 사이트에서 이용 못할것같아요 ㅜ

1
강선미 프로필

네이버 실시간 검색어 크롤링 질문드립니다. 강선미 10달 전
네이버 메인에서 페이지 소스 보기를 해도 이제 더이상 실시간 검색어가 찾아지질 않습니다. 이 경우에 어떻게 크롤링해야 하는지 궁금합니다. 두번째 질문은 네이버 데이터랩 자료를 크롤링하려고 하는데, 자꾸 불완전한 마지막 행이 발견되었다는 에러메시지가 뜹니다. 소스 코드로는  url<-"https://datalab.naver.com/keyword/realtimeList.naver?where=main" b<-readLines(url,encoding="UTF-8") 를 입력하였는데, 이 경우 b의 값이 제가 아는 페이지 소스값과 너무 다르게 나와서 혼란스러운데 이 경우 데이터랩의 자료를 어떻게 가져와야 하나요?

1

33,000원

내 목록 추가 202 공유
지식공유자 : 코코
총 16개 수업˙총 3시간 26분
평생 무제한 수강
수료증 발급 강의
입문 대상
지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스