inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]

Selenium 기본 사용법2 - 웹사이트 자동 클릭 및 크롤링

selenium 크롤링에서 해당 태그가 부분적으로 없을때

487

작성자 없음

작성한 질문수 0

0

안녕하세요.
celenium 크롤링을 이용해 여러 페이지에서서 데이타를 가져올때, 특정 페이지에 해당 태그나 속성 name 이 없을 경우 그 곳에서 프로그램이 멈춰 서 버리는데요.
이럴 경우 어떻게 처리해야 하나요?
 
예)
driver.get(https://davelee-fun.github.io)
elem = driver.find_element_by_class_name("card-title")
물론 위의 테스트 웹사이트에서는 해당 클래스가 모두 있기 때문에 문제가 없는데요. 예외적으로 없을 경우 어떻게 처리를 해야 하는지 궁금해서 여쭤봅니다.

selenium 웹-크롤링 scrapy bigdata

답변 1

0

잔재미코딩 DaveLee

특정 태그나 속성이 없다면, 당연히 프로그램은 에러가 나지 않을까 하는데 어떠신가요?

그런 케이스는 코드가 잘못된 것이거나, 동적 웹페이지가 특정 조건일 때만 특정 태그등이 나타나는 것일 것 같아요. 당연히 이때에는 특정 조건이 되도록 selenium 으로 웹페이지를 클릭하든 해서 움직여주거나 해야 하지 않을까 생각하는데 어떠신가요?

[REST API] data의 교환방식 질문

1

663

1

headless chrome 오류 문의

0

1487

1

Selenium 처리 속도 관련 문의드립니다.

0

1951

1

동적 웹사이트에서 element가 선택되지 않는 문제에 관해 질문드립니다

0

687

1

webdriver manager

0

439

1

__init__() got an unexpected keyword argument 'service' 에러 질문드립니다.

1

11709

1

Jupiter NoteBook 파일과 PDF 파일은 어디서 다운로드 받을 수 있나요?

0

444

1

scrapy option질문

1

244

1

response.css 질문드립니다.

0

369

1

scrapy 크롤링 수행시 ffi.callback() 에러가 발생합니다

0

397

1

selenium으로 여러페이지 수집시 질문

0

381

1

연습6 모범 코드: 로그인 시나리오 해보기

0

270

1

셀레니움 문법 업그레이드 , find_element_by_tag_name 오류

3

2832

1

셀레니움 버전 변경으로 인한 코드 변경

0

1284

1

headless error

0

440

1

질문있습니다!

0

463

1

안녕하세요 선생님! 질문있습니다.

0

233

1

selenium&scrapy문의

0

280

1

아래분(phantele47)과 동일한 문제가 발생해서 문의드립니다.

0

909

6

ip 차단을 피하려면 어떻게 해야 하나요?

0

3358

2

start_urls = ['']가 제공해주신 것과 다르게 작동합니다.

1

284

2

json, data = json.loads(response.body_as_unicode()) 부분에 문제가 있는 것 같습니다.

0

601

3

웹크롤링이 상대방 서버에 부담이 될 때는 어떻게 하나요~?

0

684

1

scrapy 윈도우버전의 설명은 따로 없나요??

0

330

1