-
질문 & 답변
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
scrapy 동적 웹페이지
19.10.17 00:23 작성 조회수 265
0
안녕하세요 강의 정말 잘 보고 있습니다 ㅎㅎ
내용을 쉽게 설명해주셔서 바로바로 이해하면서 열심히 공부하고 있습니다.
다름이 아니라 scrapy에 selenium을 응용하여 동적 웹페이지를 크롤링 하려하는데
가이드 라인이 있으면 좋을거 같아서 이렇게 질문드려봅니다.
selenium에서의 response를 scrapy에서 이용 할 수 있지 않을까 생각하는데
scrapy 에서 selenium을 이용하여 동적웹페이지를 크롤링 하는 정말 간단한 소스 하나만 예제로 볼 수 있을까요
답변을 작성해보세요.
0
0
잔재미코딩 DaveLee
지식공유자2019.10.19
안녕하세요.
scrapy에서는 동적웹페이지라도 가능한 정적웹페이지처럼 방법을 찾아서, 크롤링하긴 하는데요. 찾아보니 다음과 같은 별도 추가 라이브러리가 있네요. 다음 내용과 링크를 참고하시면, 좋을 것 같습니다. 이정도라도 조금이나마 도움이 되시면 좋을 것 같습니다. 감사합니다.
https://github.com/clemfromspace/scrapy-selenium
우선 위 링크에 기재된 대로, 몇가지 설정을 해준 후에,
scrapy 프로젝트에서, request 대신에, SeleniumRequest를 사용하고,
from scrapy_selenium import SeleniumRequest yield SeleniumRequest(url=url, callback=self.parse_result)
response.request.meta['driver'] 를 통해 selenium driver를 로드해서, 동적웹페이지도 크롤링이 가능한 것으로 보입니다.
def parse_result(self, response): print(response.request.meta['driver'].title)
답변 2