Inflearn Community Q&A

안녕하세요. zff님

referer의 경우 크롤링 하고자 하는 관련 사이트의 관련 URL을 설정하시면 됩니다.

꼭 저 url을 써야하는 것은 아니고 http://m.search.daum.net/search?q=1 대신

http://m.search.daum.net/search?q=3333 이와 같이 설정하셔도 괜찮습니다.

이와 비슷하게 네이버 증권페이지를 수집할 때에 아래와 같이 referer를 설정하여 수집할 수 습니다.

url<-"http://finance.naver.com/item/sise_day.nhn?code=005930&page=1" # 종목

library(httr)

referer <- add_headers(Referer = "http://finance.naver.com/item/sise_day.nhn?code=005380&page=11") # page number는 아무거나 수정해도 상관없음

tmp <- GET(url, referer) # GET함수를 통해 해당 서버에 통신을 함 뒤에 referer인자가 위장술

ta<-read_html(tmp)%>% html_nodes(xpath = '/html/body/table[1]') %>% html_table()

ta2<-(ta[[1]])

ta2[-c(1,7,8,9,15),]