아래의 질문에 이어서 답변 부탁드리겠습니다.
201
작성한 질문수 70
강사님을 너무 귀찮게 해드리네요
아래 selenium과 scrapy 를 질문한 사람입니다.
결국 강사님의 답변은 네트워크 헤더를 분석해서 해더를 만들어 전송해 selenium의 효과를 내야 한다는 말씀이신지요?
만약 그렇다면 그러한 고급 과정 개설도 생각하고 계신지요?
답변 1
0
어이쿠 아닙니다. 가볍게만 말씀드리면, 다음 파이썬 입문과 크롤링 기초 부트캠프 강좌에서 다뤘던 다음 강의처럼 네트워크를 통해 어떤 요청이 들어가는지를 체크해서 직접 그 API를 그대로 보내는 것이예요. AJAX 와 같은 동적 요청도 결국 네트워크를 통해 요청이 들어가니까, 어떻게든 해당 API를 simulation해서 요청에 대해 응답을 받을 수 있게만 한다면, 굳이 selenium을 안써도 되거든요. 물론 다 되는 것은 아니고, 세션 정보들이 들어있다보니 쉽지는 않은데요. 방대한 데이터를 수집하려면, selenium만을 쓰기가 조금 불안할때도 있어서, 이런 방식을 어떻게든 해보려고 합니다.
패턴으로 실습하며 익히기: 실전 로그인이 필요한 웹페이지 크롤링
고급 과정의 수요가 어느정도인지는 조금 고민이 되는데, 고려는 하고 있습니다.
감사합니다.!
코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다
0
626
1
scrapy를 jupyter 환경에서 할 수 있나요
0
361
1
[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.
0
313
1
[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문
0
221
1
[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문
0
279
1
xml을 parsing할때 <을 < 로 인식합니다.
0
335
1
pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ
0
292
3
PhantomJS 문의
0
294
1
selenium 문의
0
329
1
브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의
0
3004
1
on error 해결 방법 질문
0
356
1
[팁] 윈도우 cmd 커맨드
0
347
1
[팁]Chrome User Agent 아는법
0
328
1
실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문
0
254
1
동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?
0
237
1
CSS Selector 에서 질문이 있습니다.
0
435
2
pip install scrapy 오류
0
484
1
셀레니움 실행불가
0
1578
1
실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.
0
227
1
언제 get_text()를 사용하고 또 언제 .text를 사용하나요?
0
288
1
강의교안자료 받을수있을까요?
0
263
1
[강의 9:27관련 질문] price, title 열 위치
0
160
1
div에 있는 클래스가 2개이면 어떻게 하나요?
0
368
1
css 셀렉터에 대해 질문이 있습니다.
0
147
1