inflearn logo
강의

講義

知識共有

現在最強のクロール技術: ScrapyとSeleniumを征服

注:XPATHとSeleniumを活用してFacebookにログインする

실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.

225

lsc17282735

投稿した質問数 2

0

11:24 를 보면 코드중에

email_id="//*[@id='email']"로 정의한 뒤  email_tag=WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, email_id)))

라는 코드가 있는데 WebDriverWait은 제가 이해하기로는 XPATH의 값이 email_id인것이 뜰 때 까지 10초동안은 기다릴 수 있게 하는 명령인것 같습니다.

이때 궁금한점이 이전강의에서는 클릭이나 키보드 입력 등을 활용할때 webdriver.ActionChains(driver).click(more botton).perform()

이런방식으로 동작했었는데 이제는

email_tag.click() 이런식으로 WebDriverWait~~~ 로 정의된 변수를 앞에 두는것을 보았습니다.

그런데 직관적으로는 email_id를 집어넣어야 할 것 같은데 왜 기다리라는 명령?에 관련되어 변수로 정의된 값을 앞에 넣어줘야지만 동작할까요? email_id를 넣어보니 동작하지 않더군요 ㅠㅠ 

웹-크롤링 selenium scrapy

回答 1

0

funcoding

안녕하세요.

워낙 사이트 구현이 다르기 때문에, 각 사이트마다, 다양한 함수를 적용해보는 것이 필요합니다. 여기서 WebDriverWait 를 쓴 이유는, 아마도 페이스북의 로그인 기능은 동적으로 해당 태그들이 생성이 되는 것 같습니다. 그래서, 사이트가 웹브라우저에 보여진 후에, 해당 로그인 관련 태그들이 동적 생성되어, 그 후에 약간의 시간차를 두고 로그인 태그가 화면에 표시되는 것으로 보여졌었습니다.

그래서 이러한 시간 차를 기다리기 위해, WebDriverWait 를 사용하였습니다. 이를 통해, 일정 시간 해당 태그가 보여질 때까지 기다린 후에, 동작을 적용하게 만들었습니다.

감사합니다.

잔재미코딩, Dave Lee 드림

코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다

0

625

1

scrapy를 jupyter 환경에서 할 수 있나요

0

359

1

[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.

0

313

1

[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문

0

220

1

[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문

0

278

1

xml을 parsing할때 <을 &lt; 로 인식합니다.

0

333

1

pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ

0

291

3

PhantomJS 문의

0

293

1

selenium 문의

0

328

1

브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의

0

3003

1

on error 해결 방법 질문

0

356

1

[팁] 윈도우 cmd 커맨드

0

346

1

[팁]Chrome User Agent 아는법

0

327

1

실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문

0

253

1

동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?

0

237

1

CSS Selector 에서 질문이 있습니다.

0

434

2

pip install scrapy 오류

0

482

1

셀레니움 실행불가

0

1577

1

언제 get_text()를 사용하고 또 언제 .text를 사용하나요?

0

286

1

강의교안자료 받을수있을까요?

0

262

1

[강의 9:27관련 질문] price, title 열 위치

0

159

1

div에 있는 클래스가 2개이면 어떻게 하나요?

0

367

1

css 셀렉터에 대해 질문이 있습니다.

0

147

1

계쏙 질문해서 죄송합니다...

0

227

1