인프런 커뮤니티 질문&답변

url이 정확하게 들어갔는데 오류가 나는 경우는

크롤링하고자 하는 사이트에서 막는 경우입니다.

웹크롤링 실전편 - dcinside 크롤링 도 그런 경우입니다.

크롤링 하고자 하는 사이트에서 막는 이유는 과도한 트래픽 부하와 해킹공격을 막기 위함입니다

이러한 경우에는 아래 코드처럼 10초에 한번씩 긁어주는식으로 해주는게 좋습니다.

  cat("\n",keyword,"완료")

  write.csv(data,paste0(keyword,".csv"),row.names = F)

  Sys.sleep(10)

}

해결되었습니다 감사합니다~

확인해봤는데 문제는 없는것 같습니다

강사님이 올려주신 코드 그대로 돌린건데 왜 오류가 뜨나요?

다른PC로 해보니 신촌초밥 이후로 오류가 뜨네요...

안녕하세요. fx303k 님

해당 에러는 url이 잘못되어서 나오는 에러입니다.

에러 메세지를 보시면 cannot open url 이라고 되어 있습니다. 

해당 주소를 복사해서 크롬이나 익스프롤러에 복사해서 들어가 제대로된 url인지 확인해보시기 바랍니다.