scrapy 동적 웹페이지

Question

안녕하세요 강의 정말 잘 보고 있습니다 ㅎㅎ 내용을 쉽게 설명해주셔서 바로바로 이해하면서 열심히 공부하고 있습니다. 다름이 아니라 scrapy에 selenium을 응용하여 동적 웹페이지를 크롤링 하려하는데 가이드 라인이 있으면 좋을거 같아서 이렇게 질문드려봅니다. selenium에서의 response를 scrapy에서 이용 할 수 있지 않을까 생각하는데 scrapy 에서 selenium을 이용하여 동적웹페이지를 크롤링 하는 정말 간단한 소스 하나만 예제로 볼 수 있을까요

empty - · Answer

감사합니다!!

funcoding · Answer

안녕하세요. scrapy에서는 동적웹페이지라도 가능한 정적웹페이지처럼 방법을 찾아서, 크롤링하긴 하는데요. 찾아보니 다음과 같은 별도 추가 라이브러리가 있네요. 다음 내용과 링크를 참고하시면, 좋을 것 같습니다. 이정도라도 조금이나마 도움이 되시면 좋을 것 같습니다. 감사합니다. https://github.com/clemfromspace/scrapy-selenium 우선 위 링크에 기재된 대로, 몇가지 설정을 해준 후에, scrapy 프로젝트에서, request 대신에, SeleniumRequest를 사용하고, from scrapy_selenium import SeleniumRequest yield SeleniumRequest( url = url, callback = self .parse_result) response.request.meta['driver'] 를 통해 selenium driver를 로드해서, 동적웹페이지도 크롤링이 가능한 것으로 보입니다. def parse_result ( self , response ): print (response.request.meta[ ' driver ' ].title)