사용자가 특정 버튼 클릭 후 크롤링하는 로직 작성하는 방법
465
작성한 질문수 2
안녕하세요 강사님.
모든 강의를 수강한 이후에 왜 처음에 beautiful soup로 시작해서 selenium으로 끝이 나는지 절실하게 깨달을 수 있었습니다.
가르쳐 주신 예제를 바탕으로 개인적으로 추가 실습을 진행하면서 크롤링에 대한 이해를 높이려고 하는데 selenium의 경우 특정 버튼을 클릭하여 넘어간 이후에 크롤링이 진행되도록 자동화에 맞추어져 있는 라이브러리임을 알 수 있었습니다.
네이버 예제 화면에 있는 메일, 카페, 블로그, 쇼핑, 뉴스, 증권, 부동산, 지도, 웹툰이 모여져 있는 배너에서 사용자가 특정 버튼을 눌렀을 때 이동한 해당 페이지에서 크롤링을 진행할 수 있도록 자동화하는 예제를 스스로 만들어 공부 중인데 이러한 경우에서 if 메일 if 카페 if 블로그 같은 분기를 바탕으로 작성한 로직 대신 동적으로 사용자가 클릭했을 때의 정보를 가져올 수 있도록 하는 방법이 있을까요? 수많은 버튼이 존재하게 된다면 사용자가 어떤 버튼을 누를지 xpath라던가 class를 특정할 수 없는 경우가 생길 수 있을 것 같아서 질문 드립니다..!
답변 1
0
제가 질문을 맞게 이해했는지 모르겠지만
클릭을 해서 페이지가 이동하고 url이 변경된다면 현재 페이지의 url을 감지해서 url이 변경되었을때 그 url에 맞춰서 크롤링을 하도록 하면 될 것 같습니다.
그런데 페이지 타이틀이나 h1 태그 등 간단한 정보만 가져오는게 아니라 각 페이지마다 필요한 정보를 골라서 가져오는 거라면 클릭이 예상되는 모든 페이지에 맞춰서 크롤링 코드를 짜야할텐데 일이 매우 커지겠군요.
멜론 사이트 수집부터 안됩니다
0
60
1
강의 시점이랑 현재랑 네이버 사이트 변화가 많은거 같아서 질문드립니다.
0
57
1
-href 가져오기
0
91
2
수업내용 프로젝트의 완성된 코드는 제공이 안돼나요?
0
157
1
안녕하세요 쿠팡 크롤링 막힌거 같아요 3번돌리니깐 막았어요 해결방법없을까요?
0
3625
1
쿠팡 BeautifullSoup 헤더넣어도 막히네요
0
443
1
네이버 쇼핑 크롤링 1 코드 사용 시, 접속 제한됐을 때의 해결 방법이 궁금합니다.
0
3176
1
추가 강의 업데이트 있나요?
0
246
1
lambda 중에 문의가 있습니다.
0
269
1
텔레그램 sendMessage 시 400에러가 뜹니다.
0
901
2
ftp 로긴 문제입니다. ㅜ
0
407
2
네이버 쇼핑 크롤링 질문입니다.
0
367
1
XPATH 네이버에서 카페 찾는 과정 문의입니다.
1
312
1
셀레니움 By.XPATH 를 이용한 키워드 입력 작성 질문입니다.
0
668
2
쿠팡 이미지 파일 다운받기에서 동일하게 코드 작성 후 요청하였지만 파일 다운로드가 안됩니다.
0
808
2
파이썬에 키워드를 치는게 아닌...
0
275
2
50프로 수강중입니다~
0
218
1
제품 링크를 타고 들어가야 원하는 정보가 나오는 사이트
0
384
2
lst = lst50 + lst100 이거 대신에
0
322
2
증권, 메일 등 서비스 목록을 못가져와요 ㅠㅠ
1
283
1
네이버에 view탭이 업데이트가 됐는지 없어졌네요... ㅠㅠ
1
245
1
선생님이랑 똑같이 적었는데 저는 왜 오류가 날까요?ㅠ
0
355
2
네이버쇼핑 크롤링 문의
0
429
2
asyncio.run() cannot be called from a running event loop 에러 질문 드립니다
0
3902
4