scrapy와 BeatifulSoup
201
작성한 질문수 12
강의를 듣다가 질문드립니다.
강의내용 중 언급하신 예제말고, gmarket에서 다른 것들을 crawl 하는 중에, 안되는 것이 있어, html코드를 살펴보니, 지난강의에서 언급하신 동적/정적 크롤의 차이에서 발생한듯한데..
그럼 scrapy는 selenium과 같이 동적인 부분의 크롤링은 할 수 없는건가요?
그렇다면 scrapy는 그 사용분야/범위(?)가 selenium 보다 BeautifulSoup과 더 비슷하다고 할 수 있는건가요?
답변 1
0
안녕하세요. 네 맞습니다. 사실 방대한 데이터를 크롤링하는데에는 간단한 한페이지라면 모를까, selenium으로 하기에는 무리가 있어요. 방대한 다양한 웹페이지를 selenium으로 크롤링하려면, 웹브라우저를 마구 띄워야하고, 그러다보면 오버헤드가 걸리거나, 네트워크 딜레이등이 걸려서 시간차등도 발생할 수 있구요. 그래서 방대한 데이터는 scrapy/BeautifulSoup이 더 안정적이고 보통 많이 사용합니다.
scrapy에 selenium까지 사용할 수 있는 패키지도 존재는 하는데요. 실제 실무에 적용에는 좀 고민이 많이 됩니다.
https://github.com/clemfromspace/scrapy-selenium
감사합니다.
코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다
0
626
1
scrapy를 jupyter 환경에서 할 수 있나요
0
361
1
[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.
0
313
1
[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문
0
221
1
[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문
0
279
1
xml을 parsing할때 <을 < 로 인식합니다.
0
335
1
pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ
0
292
3
PhantomJS 문의
0
294
1
selenium 문의
0
329
1
브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의
0
3004
1
on error 해결 방법 질문
0
356
1
[팁] 윈도우 cmd 커맨드
0
347
1
[팁]Chrome User Agent 아는법
0
328
1
실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문
0
254
1
동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?
0
237
1
CSS Selector 에서 질문이 있습니다.
0
435
2
pip install scrapy 오류
0
484
1
셀레니움 실행불가
0
1578
1
실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.
0
227
1
언제 get_text()를 사용하고 또 언제 .text를 사용하나요?
0
288
1
강의교안자료 받을수있을까요?
0
263
1
[강의 9:27관련 질문] price, title 열 위치
0
160
1
div에 있는 클래스가 2개이면 어떻게 하나요?
0
368
1
css 셀렉터에 대해 질문이 있습니다.
0
147
1