inflearn logo
강의

Khóa học

Chia sẻ kiến thức

Hiện tại, công nghệ trích xuất dữ liệu mạnh nhất: Khám phá Scrapy và Selenium

Lưu ý: Đăng nhập Facebook bằng XPATH và Selenium

실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.

224

lsc17282735

2 câu hỏi đã được viết

0

11:24 를 보면 코드중에

email_id="//*[@id='email']"로 정의한 뒤  email_tag=WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, email_id)))

라는 코드가 있는데 WebDriverWait은 제가 이해하기로는 XPATH의 값이 email_id인것이 뜰 때 까지 10초동안은 기다릴 수 있게 하는 명령인것 같습니다.

이때 궁금한점이 이전강의에서는 클릭이나 키보드 입력 등을 활용할때 webdriver.ActionChains(driver).click(more botton).perform()

이런방식으로 동작했었는데 이제는

email_tag.click() 이런식으로 WebDriverWait~~~ 로 정의된 변수를 앞에 두는것을 보았습니다.

그런데 직관적으로는 email_id를 집어넣어야 할 것 같은데 왜 기다리라는 명령?에 관련되어 변수로 정의된 값을 앞에 넣어줘야지만 동작할까요? email_id를 넣어보니 동작하지 않더군요 ㅠㅠ 

웹-크롤링 selenium scrapy

Câu trả lời 1

0

funcoding

안녕하세요.

워낙 사이트 구현이 다르기 때문에, 각 사이트마다, 다양한 함수를 적용해보는 것이 필요합니다. 여기서 WebDriverWait 를 쓴 이유는, 아마도 페이스북의 로그인 기능은 동적으로 해당 태그들이 생성이 되는 것 같습니다. 그래서, 사이트가 웹브라우저에 보여진 후에, 해당 로그인 관련 태그들이 동적 생성되어, 그 후에 약간의 시간차를 두고 로그인 태그가 화면에 표시되는 것으로 보여졌었습니다.

그래서 이러한 시간 차를 기다리기 위해, WebDriverWait 를 사용하였습니다. 이를 통해, 일정 시간 해당 태그가 보여질 때까지 기다린 후에, 동작을 적용하게 만들었습니다.

감사합니다.

잔재미코딩, Dave Lee 드림

코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다

0

623

1

scrapy를 jupyter 환경에서 할 수 있나요

0

357

1

[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.

0

309

1

[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문

0

219

1

[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문

0

276

1

xml을 parsing할때 <을 &lt; 로 인식합니다.

0

332

1

pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ

0

289

3

PhantomJS 문의

0

292

1

selenium 문의

0

326

1

브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의

0

3002

1

on error 해결 방법 질문

0

354

1

[팁] 윈도우 cmd 커맨드

0

345

1

[팁]Chrome User Agent 아는법

0

325

1

실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문

0

252

1

동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?

0

234

1

CSS Selector 에서 질문이 있습니다.

0

432

2

pip install scrapy 오류

0

480

1

셀레니움 실행불가

0

1575

1

언제 get_text()를 사용하고 또 언제 .text를 사용하나요?

0

284

1

강의교안자료 받을수있을까요?

0

261

1

[강의 9:27관련 질문] price, title 열 위치

0

157

1

div에 있는 클래스가 2개이면 어떻게 하나요?

0

365

1

css 셀렉터에 대해 질문이 있습니다.

0

143

1

계쏙 질문해서 죄송합니다...

0

225

1