답변 1
0
2021. 02. 04. 11:54
안녕하세요. zff님
referer의 경우 크롤링 하고자 하는 관련 사이트의 관련 URL을 설정하시면 됩니다.
꼭 저 url을 써야하는 것은 아니고 http://m.search.daum.net/search?q=1 대신
http://m.search.daum.net/search?q=3333 이와 같이 설정하셔도 괜찮습니다.
이와 비슷하게 네이버 증권페이지를 수집할 때에 아래와 같이 referer를 설정하여 수집할 수 습니다.
url<-"http://finance.naver.com/item/sise_day.nhn?code=005930&page=1" # 종목
library(httr)
referer <- add_headers(Referer = "http://finance.naver.com/item/sise_day.nhn?code=005380&page=11") # page number는 아무거나 수정해도 상관없음
tmp <- GET(url, referer) # GET함수를 통해 해당 서버에 통신을 함 뒤에 referer인자가 위장술
ta<-read_html(tmp)%>% html_nodes(xpath = '/html/body/table[1]') %>% html_table()
ta2<-(ta[[1]])
ta2[-c(1,7,8,9,15),]