scrapy와 BeatifulSoup

인프런 커뮤니티 질문&답변

JAB

작성한 질문수

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

강력/최신 크롤링 기술: Scrapy 로 css selector/xpath 사용하기

작성

196

강의를 듣다가 질문드립니다.

강의내용 중 언급하신 예제말고, gmarket에서 다른 것들을 crawl 하는 중에, 안되는 것이 있어, html코드를 살펴보니, 지난강의에서 언급하신 동적/정적 크롤의 차이에서 발생한듯한데..

그럼 scrapy는 selenium과 같이 동적인 부분의 크롤링은 할 수 없는건가요?

그렇다면 scrapy는 그 사용분야/범위(?)가 selenium 보다 BeautifulSoup과 더 비슷하다고 할 수 있는건가요?

scrapy selenium 웹-크롤링

답변 1

잔재미코딩 DaveLee

지식공유자

안녕하세요. 네 맞습니다. 사실 방대한 데이터를 크롤링하는데에는 간단한 한페이지라면 모를까, selenium으로 하기에는 무리가 있어요. 방대한 다양한 웹페이지를 selenium으로 크롤링하려면, 웹브라우저를 마구 띄워야하고, 그러다보면 오버헤드가 걸리거나, 네트워크 딜레이등이 걸려서 시간차등도 발생할 수 있구요. 그래서 방대한 데이터는 scrapy/BeautifulSoup이 더 안정적이고 보통 많이 사용합니다.

scrapy에 selenium까지 사용할 수 있는 패키지도 존재는 하는데요. 실제 실무에 적용에는 좀 고민이 많이 됩니다.

https://github.com/clemfromspace/scrapy-selenium

감사합니다.

JAB

작성한 질문수

전체 Q&A

질문하기