-
질문 & 답변
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
SELENIUM 과 SCRAPY 의 사용과 관련하여 문의 드립니다.
20.03.09 22:50 작성 조회수 128
0
scrapy 프레임워크 정말 감사합니다. selenium을 하다 보면 처리 속도가 문제가 되는데 이 부분에 대해 많은 도움이 되었읍니다. 하지만 scrapy 에서도 한가지 단점이 있는데 사용자가 입력해야 하는 부분의 처리 입니다. 이를 위해 selenium과 scrapy를 결합한 형태로 사용해야 할 거 같은데 이 경우에도 scrapy의 장점을 취할 수 있는지 궁금합니다. 가능하시면 양 솔루션의 장점을 같이 얻을 수 있는 예제 샘플 제공해 주시면 너무 감사하겠습니다. 강사님 덕분에 그동안 어려웠던 부분 많이 해결하고 있습니다. 아울러 적은 비용으로 수준높은 지식을 주시는 강사님 감사합니다. 늘 많은 지식 주시고 항상 발전 있으시길 기원 드립니다.
답변을 작성해보세요.
1
잔재미코딩 DaveLee
지식공유자2020.03.10
안녕하세요. 사실 방대한 데이터를 크롤링하는데에는 간단한 한페이지라면 모를까, selenium으로 하기에는 무리가 있어요. 방대한 다양한 웹페이지를 selenium으로 크롤링하려면, 웹브라우저를 마구 띄워야하고, 그러다보면 오버헤드가 걸리거나, 네트워크 딜레이등이 걸려서 시간차등도 발생할 수 있구요. 그래서 방대한 데이터는 scrapy/BeautifulSoup이 더 안정적이고 보통 많이 사용합니다.
다만 selenium을 사용해야 하는 경우가 있을 수 있는데요. 이런 부분은 selenium을 사용하지 않고, 가급적 해당 사용자 입력이 실제로 어떻게 웹서버에 입력이 되는지를 확인해서, 가급적 이 부분은 scrapy로 simulation 해서 사용합니다. 이 부분에 대해서는 댓글로는 설명이 어려운 부분이 있어요. 추가적인 강좌가 있긴 해야합니다. 크롬의 디버그 모드에서 네트워크를 모니터링하는 부분에 대해 크롤링 기초, scrapy 이렇게 두 강좌에서 설명을 드렸는데요. 해당 부분을 사용해서 진행합니다.
추가로 scrapy에 selenium까지 사용할 수 있는 패키지도 존재는 하는데요. 실제 실무에 적용에는 좀 고민이 많이 됩니다.
https://github.com/clemfromspace/scrapy-selenium
감사합니다.
답변 1