-
질문 & 답변
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
동적 웹페이지 크롤링 에러 관련
20.06.29 21:53 작성 조회수 86
0
안녕하세요!
크롤링 기초 부트캠프를 수강하고 이 수업을 재미있게 듣고 있습니다. 쉽게 따라갈 수 있게 강의해 주셔서 감사드립니다.
동적 웹페이지 관련 강의를 듣고 네이버 쇼핑에서 댓글 크롤링 하는 코드를 작성하였는데 계속 에러가 나서 며칠째 헤매다 문의드립니다.
네이버쇼핑에서는 더보기 버튼 대신에 페이지 번호를 클릭해야 합니다. 2페이지 버튼을 클릭하고 댓글을 읽어오는 코드를 작성하고 실행시켜도 계속 1페이지 있는 것만 읽혀오네요;;;
어떻게 해결할 방법이 없을까요?
감사합니다.
답변을 작성해보세요.
0
잔재미코딩 DaveLee
지식공유자2020.07.01
안녕하세요. 우선 수업 재미있게 들어주셔서 감사합니다.
이 부분은 양해를 부탁드려요. 각자 원하시는 크롤링 페이지가 있을텐데, 각자 코드를 작성해보다가 안되면 저에게 물어오는 경우가 가끔 있는데요. 그러면 저도 해당 사이트를 분석해서 크롤링 코드를 다 작성해봐야 되다보니, 무리도 있고요. 한번이라도 해당 코드를 작성해드리게 되면, 평생 수강인데, 평생 어떤 사이트든 크롤링이 잘안되면 제가 작성을 해드린다는 오해아닌 오해를 살 수도 있어서요. 물리적으로도 무리가 있고, 한두분 해드리다보면 요청이 쌓이게 되고, 그러면 물리적 무리도 있으니 지원도 해드릴 수 없고, 그렇게 되면 오히려 왜이렇게 늦게 해주느냐는 이야기도 들을 수 있는 문제라서요 ㅎㅎ
우선은 2페이지를 클릭했을 때, 크롬 개발자 모드에서 HTML들이 어떻게 변하는지를 상세히 보시는 것이 출발일것 같기는 해요.
감사합니다.
답변 1