셀리니움 관련 몇가지 질문 남겨요.

답변 감사합니다!! 크롤링 고급강의를 목이 빠지게 기다리고 있습니다. 준비해주시는 동안 기존 강의 더 열공하겠습니다! 감사합니다. 개인적으로 뭔가 정말 어려운 사이트들만 모아서 노하우를 알려주시는 것도 저희에게 아주 소중한 기회가 될 것 같습니다!

네 좋은 질문입니다. 이성민 님

결론부터 이야기 하면 있습니다.

서버측 개발자는 항상 봇들에 대한 방지 코드를 넣어두곤 합니다.

주로 대형 포털 사이트일수록 엄격하겠지요.

하지만 브라우저를 통해서 접속을 허용하는 한 코드로써 대부분 크롤링을 수행할 수 있습니다.

selenium으로 만약 접속 및 컨트롤이 되지 않는다면 response 되는 에러 코드를 보고

그에 맞는 header값들을 넘겨서 수행하실 수 있습니다.

다만, 극히 드문일이지만, 서버측 javascript 단에서 진짜 브라우저인지 (pdf 뷰어를 가지고 있는지) 이런 것들로 체크해논 사이트들도 있지만, 아직까지는 거의 보지 못했습니다.

https://stackoverflow.com/questions/29916054/change-user-agent-for-selenium-driver

위에 링크를 보시면 header를 넣는것을 확인하실 수 있습니다.

requests 는 굳이 사용안하셔도 selenium 만 단독으로도 사용이 가능하겠죠?

requests가 편해서 사용한 것일 뿐입니다.

감사합니다.