scrapy 동적 웹페이지

미해결질문
empty - 프로필

안녕하세요 강의 정말 잘 보고 있습니다 ㅎㅎ

내용을 쉽게 설명해주셔서 바로바로 이해하면서 열심히 공부하고 있습니다.

다름이 아니라 scrapy에 selenium을 응용하여 동적 웹페이지를 크롤링 하려하는데

가이드 라인이 있으면 좋을거 같아서 이렇게 질문드려봅니다.

selenium에서의 response를 scrapy에서 이용 할 수 있지 않을까 생각하는데

scrapy 에서 selenium을 이용하여 동적웹페이지를 크롤링 하는 정말 간단한 소스 하나만 예제로 볼 수 있을까요

잔재미코딩 프로필
잔재미코딩 1달 전

안녕하세요.

scrapy에서는 동적웹페이지라도 가능한 정적웹페이지처럼 방법을 찾아서, 크롤링하긴 하는데요. 찾아보니 다음과 같은 별도 추가 라이브러리가 있네요. 다음 내용과 링크를 참고하시면, 좋을 것 같습니다. 이정도라도 조금이나마 도움이 되시면 좋을 것 같습니다. 감사합니다.

https://github.com/clemfromspace/scrapy-selenium

우선 위 링크에 기재된 대로, 몇가지 설정을 해준 후에, 

scrapy 프로젝트에서, request 대신에, SeleniumRequest를 사용하고,

from scrapy_selenium import SeleniumRequest

yield SeleniumRequest(url=url, callback=self.parse_result)

response.request.meta['driver'] 를 통해 selenium driver를 로드해서, 동적웹페이지도 크롤링이 가능한 것으로 보입니다.

def parse_result(self, response):
    print(response.request.meta['driver'].title)

empty - 프로필
empty - 1달 전

감사합니다!!

지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스