인프런 커뮤니티 질문&답변

zff님의 프로필 이미지

작성한 질문수

R로 하는 웹 크롤링 - 실전편

다음 카페 게시글 크롤링(header활용)

Referer

21.02.04 11:45 작성

·

230

0

referer는 어떤 url를 가지고 오신건가요? 무조건 저 url을 가지고 와야되나요?

답변 1

0

코코님의 프로필 이미지
코코
지식공유자

2021. 02. 04. 11:54

안녕하세요. zff님

referer의 경우 크롤링 하고자 하는 관련 사이트의 관련 URL을 설정하시면 됩니다.

꼭 저 url을 써야하는 것은 아니고 http://m.search.daum.net/search?q=1 대신

http://m.search.daum.net/search?q=3333 이와 같이 설정하셔도 괜찮습니다.

이와 비슷하게 네이버 증권페이지를 수집할 때에 아래와 같이 referer를 설정하여 수집할 수 습니다.

url<-"http://finance.naver.com/item/sise_day.nhn?code=005930&page=1" # 종목

library(httr)

referer <- add_headers(Referer = "http://finance.naver.com/item/sise_day.nhn?code=005380&page=11") # page number는 아무거나 수정해도 상관없음

tmp <- GET(url, referer) # GET함수를 통해 해당 서버에 통신을 함 뒤에 referer인자가 위장술

ta<-read_html(tmp)%>% html_nodes(xpath = '/html/body/table[1]') %>% html_table()

ta2<-(ta[[1]])

ta2[-c(1,7,8,9,15),]

zff님의 프로필 이미지

작성한 질문수

질문하기