R로 하는 웹 크롤링 - 실전편
R로 하는 웹 크롤링 - 실전편
수강정보
(4개의 수강평)
87명의 수강생
44,000원
지식공유자 : 코코
21회 수업 · 총 5시간 12분 수업
기간 : 평생 무제한 시청
수료증 : 발급 강의
수강 난이도 : 초급
김병수 프로필

오류무시 code 관련 김병수 3달 전
k <- 1content <- c() for(k in 52:length(fin_url)){ if(class(try(b <- readLines(fin_url[k], encoding = "UTF-8"))) == "try-error"){ cont <- ""content <- c(content,cont) } else{ aindex <- which(str_detect(b,"</figure>")) bindex <- which(str_detect(b, "<div class=\"foot_view\" data-cloud-area=\"addition\">")) b2 <- paste(b[aindex:bindex], collapse = " ") cont <- str_trim(gsub("<.*?>","",b2)) content <- c(content,cont) cat("\n",k) } 연속으로 진행되지 않고 잘리는 상황이 지속됩니다. 오류 무시가 작동을 하지 않는 이유를 모르겠습니다. 오타인지요?

1
김병수 프로필

위도 경도 가져오기 김병수 3달 전
Encoding(keycard)를 하면 UTF-8 이 나오고 iconv(keyward, from = "CP949", to = "UTF-8") > NA #가 나옵니다. from과 to를 변경하여 보면 전혀 다른 문자가 나옵니다. 해결 방법이 없을 지요? 계속 예기에서 막혀서 진행이 않됩니다. 

1
김병수 프로필

encoding 해결 방법 김병수 4달 전
encoding을 euc-kr로 변경했으나 글자가 깨집니다. 다른 방법이 없을지요! 저는 맥을 사용하는데 os때문에 해결되지 않는 것인지 알고 싶습니다. 

1
habeaury 프로필

대량의 뉴스데이터를 보고싶다면 어떻게 해야하나요? habeaury 5달 전
선생님 안녕하세요. 뉴스데이터를 일별로 보는 것이 아니라 몇천 개 정도 되는 데이터를 보고싶은데 그렇다면 먼저 엑셀파일에 정리하고 시작을 하나요? 제가 코로나 관련 뉴스 데이터를 보고싶은데 좀 난감해서요 빅카인즈로 분석해볼까 고민도 했는데 그것도 쉽지 않아서 혹시 분석하는 방법 알려주실 수 있나요..?

1
Steady 프로필

자바스크립트 및 iframe으로 구성되어 있는 웹페이지 크롤링 문의 Steady 5달 전
안녕하세요, 네이버 금융의 종목분석 페이지에 나와 있는 재무정보를 크롤링하고자 하는데 문제에 부딪쳐 문의 드립니다. (https://finance.naver.com/item/coinfo.nhn?code=005930)  아래 두 가지 방법으로 크롤링을 시도해보았습니다. 1) 강의에서 말씀하신 숨겨진 주소를 찾아서 크롤링 : 크롬 개발자 도구에서 Network 검사를 통해 숨겨진 주소를 확인하고 (이 경우 네이버가 지속적으로 인증값을 바꿈) JSON 형식으로 된 재무정보를 깔끔하게 불러들일 수 있으나, 인증값이 계속 바뀌기 때문에 이 부분을 핸들링 하는 것이 어려움. 따라서 아래 셀레니움을 이용한 방식을 사용하고자 하는데요, 2) 셀레니움을 통한 크롤링 : 따라서 셀레니움을 통해 크롤링을 시도했으나 소스가 iframe으로 보호되어 크롤링이 어렵습니다. 개발자도구에서 버튼의 xpath를 확인해도 정작 R에서는 읽어들이지 못하고 (iframe으로 숨겨진 탓으로 보입니다) css selector라는 크롬 익스텐션으로는 아예 재무정보 부분이 블록되어 있어서 제대로 된 xpath를 읽지 못합니다. 이 경우 핸들링을 어떻게 해야 할까요? 셀레니움 강의 부분은 짧아서 다른 정보를 찾아봤지만 파이썬으로 내용이 많이 나와 R과는 조금 다른 듯 합니다.

1
tkddbs7279 프로필

어떤 문제로 인해 na 가 발생하는걸까요? 블로그 크롤링 부분입니다. tkddbs7279 6달 전
keyword<-"신촌 맛집" > keyword <- iconv(keyword, from = "CP949", to ="UTF-8") > keyword [1] NA

2
아쿠아라이드 프로필

이미지 크롤링 개수를 80개 이상으로 하는 방법도 있을지요? 아쿠아라이드 6달 전
안녕하세요? 많은 것을 배워가고 있습니다. 알차고 훌륭한 강의 정말 감사드립니다..! 한가지 질문은 이미지 크롤링시, 아마도 daum 의 웹사이트 특성 상 처음 80개 까지만 담기는 것 같은데.... 실제로 다음에서 이미지 검색을 해 보면 80개 이상의 이미지를 볼수는 있어서.... 크롤링에서도 80개 이상의 이미지를 크롤링할 수 있는 방법이 있을지 문의드립니다. 감사합니다! 

2
정권호 프로필

혹시 셀레니움을 스레드로 이용 할 수 있을까요? 정권호 6달 전
셀레니움으로 여러개의 파어이 폭스창을 띄우는건 가능한데 그 창들을 동시에 사용하고 싶은데 방법이 있을까요?

1
정권호 프로필

네이버는 셀레니움을 통해 로그인할 경우 캡챠가 무조건 떠서 불가능하네요 정권호 7달 전
파이썬의 경우 키조합으로 ctrl+c 와 ctrl+v를 만들어서 캡챠를 우회 하더군요 R에서는 불가능 한걸까요?

5
정권호 프로필

셀레니움을 사용하지 않고 로그인을 하는 방법은 없나요? 정권호 7달 전
셀레니움을 사용하지 않고 네이버에 로그인을 하고싶은데 어떤 방법이 있을까요

2
jong suk choi 프로필

웹 크롤링 방법 jong suk choi 7달 전
SelectorGadget을 이용햐서 크롤링하는 방법에 대해서 설명 부탁드립니다. 훨씬 편리한데...

1
Steady 프로필

readlines. htmltab, readhtmltable 구별해 사용하는 방법? Steady 8달 전
크롤링 할때 사이트마다 사용하는 방법이 조금 다른 거 같은데, 사이트 속성을 보고 각각의 함수를 사용하는 기준이 있는지 궁금합니다.

2
이건희 프로필

셀레늄 파이어폭스 실행 오류가 발생합니다 ! 이건희 9달 전
이렇게 오류가 뜨고 브라우저 실행이 안됩니다 ....ㅠㅠ 파이어폭스도 설치했는데 왜그럴까요

2
지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스