동적 웹페이지 크롤링 에러 관련
151
작성한 질문수 1
안녕하세요!
크롤링 기초 부트캠프를 수강하고 이 수업을 재미있게 듣고 있습니다. 쉽게 따라갈 수 있게 강의해 주셔서 감사드립니다.
동적 웹페이지 관련 강의를 듣고 네이버 쇼핑에서 댓글 크롤링 하는 코드를 작성하였는데 계속 에러가 나서 며칠째 헤매다 문의드립니다.
네이버쇼핑에서는 더보기 버튼 대신에 페이지 번호를 클릭해야 합니다. 2페이지 버튼을 클릭하고 댓글을 읽어오는 코드를 작성하고 실행시켜도 계속 1페이지 있는 것만 읽혀오네요;;;
어떻게 해결할 방법이 없을까요?
감사합니다.
답변 1
0
안녕하세요. 우선 수업 재미있게 들어주셔서 감사합니다.
이 부분은 양해를 부탁드려요. 각자 원하시는 크롤링 페이지가 있을텐데, 각자 코드를 작성해보다가 안되면 저에게 물어오는 경우가 가끔 있는데요. 그러면 저도 해당 사이트를 분석해서 크롤링 코드를 다 작성해봐야 되다보니, 무리도 있고요. 한번이라도 해당 코드를 작성해드리게 되면, 평생 수강인데, 평생 어떤 사이트든 크롤링이 잘안되면 제가 작성을 해드린다는 오해아닌 오해를 살 수도 있어서요. 물리적으로도 무리가 있고, 한두분 해드리다보면 요청이 쌓이게 되고, 그러면 물리적 무리도 있으니 지원도 해드릴 수 없고, 그렇게 되면 오히려 왜이렇게 늦게 해주느냐는 이야기도 들을 수 있는 문제라서요 ㅎㅎ
우선은 2페이지를 클릭했을 때, 크롬 개발자 모드에서 HTML들이 어떻게 변하는지를 상세히 보시는 것이 출발일것 같기는 해요.
감사합니다.
코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다
0
626
1
scrapy를 jupyter 환경에서 할 수 있나요
0
360
1
[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.
0
313
1
[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문
0
221
1
[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문
0
279
1
xml을 parsing할때 <을 < 로 인식합니다.
0
335
1
pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ
0
292
3
PhantomJS 문의
0
294
1
selenium 문의
0
329
1
브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의
0
3004
1
on error 해결 방법 질문
0
356
1
[팁] 윈도우 cmd 커맨드
0
347
1
[팁]Chrome User Agent 아는법
0
328
1
실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문
0
254
1
동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?
0
237
1
CSS Selector 에서 질문이 있습니다.
0
435
2
pip install scrapy 오류
0
484
1
셀레니움 실행불가
0
1578
1
실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.
0
227
1
언제 get_text()를 사용하고 또 언제 .text를 사용하나요?
0
287
1
강의교안자료 받을수있을까요?
0
263
1
[강의 9:27관련 질문] price, title 열 위치
0
160
1
div에 있는 클래스가 2개이면 어떻게 하나요?
0
368
1
css 셀렉터에 대해 질문이 있습니다.
0
147
1