• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

Selenium 처리 속도 관련 문의드립니다.

23.01.28 15:40 작성 조회수 1.37k

0

연습1 모범 코드: id가 begin 인 데이터만 출력해보기 코드를 실행해보면,

데이터 출력까지 꼬박 30초가 걸리네요..

Screenshot_1.pngfrom selenium import webdriver

from selenium.webdriver.common.keys import Keys

import time

from selenium.webdriver.common.by import By

from selenium.webdriver.chrome.service import Service

from webdriver_manager.chrome import ChromeDriverManager

chromedriver = 'C:/dev_python/Webdriver/chromedriver.exe'

driver = webdriver.Chrome(service=Service(chromedriver))

driver.get("https://davelee-fun.github.io/blog/crawl_html_css.html")

elems = driver.find_elements(By.ID, 'begin')

for elem in elems :

print(elem.text)

driver.quit()

 

 

강사님 영상보면 늦어도 5초 이내에 실행되는 것 같은데 좀 답답한 마음에 문의 드립니다.

Screenshot_2.pngdata:, 화면에서 20초 가량을 멈춰있어요..

구글링 해보니 브라우저와 드라이버 버전을 맞추면 실행이 빨라진다 해서, 몇 번 재설치를 해봐도 안되고 있네요..

Screenshot_3.png

Screenshot_5.png

109.0.5414.25와 .74 모두 설치해봤으나 동일한 처리 속도이며,,

Edge드라이버를 설치해서 불러와도 30초가 걸리네요.

Screenshot_6.png

참고로 제가 사용하는 컴퓨터이며, 크롬에서 주소 입력시 1초 이내로 반응합니다.

 

강의 내용과는 조금 벗어날 수도 있는 부분인 것 같으나..

현업이나 교육 중에 이런 현상을 보신 적이 있으실까 싶어서 여쭤보네요.

강의는 정말 잘 듣고 있습니다.

양질의 강의 찍어주셔서 정말 감사드려요!!^^

답변 1

답변을 작성해보세요.

1

안녕하세요. 답변 도우미입니다.

음... 보통은 PC 자체가 느리거나, 인터넷이 느리거나, 원하시는 사이트 접속이 느린 경우 정도를 경험한 적은 있어요. 이것이 아니라면, 또다른 부분으로,

crawling_selenium_testing_V1_3_2.ipynb 파일 중간에 적어놓았는데요. 다음과 같이 driver 를 다음 코드로 한번 넣어서 실행해보시면 어떠실까요? 이 코드는 아예 크롬 브라우저 버전을 체크해서 자동으로 드라이버를 다운받고, 실행을 하는데요. 처음 실행한 이후에 반복해서 실행하면, 다운받는 과정을 거치지 않고, 조금 기존 코드와 다르게 실행하게 되는데요. 이로 인해, 간접적으로 성능을 조금더 높일 수 있지 않을까 생각이 되서요. 한번 시도해보시면 좋을 것 같아서, 의견을 드립니다.

from selenium import webdriver

from webdriver_manager.chrome import ChromeDriverManager

driver = webdriver.Chrome(ChromeDriverManager().install()) # driver 초기 설정을 이 코드로 실행하시면 좋을 것 같습니다.

 

감사합니다.

케이브님의 프로필

케이브

질문자

2023.01.31

안녕하세요 강사님^^

코드 넣어서 실행은 해보았지만 여전하네요..

 

저도 여러가지로 찾아보고 혹시 찾게 되면 여기에 공유하도록 하겠습니다.

주말 저녁인데도 답글 달아주셔서 감사합니다 ^^