inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

파이썬을 이용한 웹 크롤링(Web Crawling) 어플리케이션 만들기

01 - 웹 환경의 이해 1

크롤링 오류

235

박대해

작성한 질문수 1

0

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
import time

from urllib.request  import urlopen
from urllib.parse import quote_plus
from bs4 import BeautifulSoup  
from requests_html import HTMLSession
import time
driver = webdriver.Chrome() 

session = HTMLSession()

baseUrl = 'https://www.courtauction.go.kr/'

driver.get(baseUrl)
print(driver.window_handles)
time.sleep(3)
driver.switch_to.window(driver.window_handles[1])
driver.close()
driver.switch_to.window(driver.window_handles[0])
print(driver.window_handles) 


f = open('jquery-3.4.1.min.js''r')
driver.execute_script(f.read())
element = driver.find_element_by_xpath("/html/body/div/div/div[4]/div[3]/div[2]/div[1]/form/div/div")
element.click()
print(element) 
#main_btn > a
#javascript = driver.find_element_by_xpath('//*[@id="main_btn"]/div') 
#javascript.click()

f.close()
이렇게 크롤링을 했는데 아래처럼 오류가 나요 이유를 모를겠씁니다
PS C:\Users\USER\AppData\Local\Programs\Python\Python38-32\Lib\site-packages\selenium\webdriver> python py4.py DevTools listening on ws://127.0.0.1:57644/devtools/browser/ce3a0c10-1e5f-448a-9768-7a3731b4bdba ['CDwindow-761E40B9B36801AA66BCBD3A4BD8C663'] KLIB_SelfTest return : KLR_OK ['CDwindow-761E40B9B36801AA66BCBD3A4BD8C663'] Traceback (most recent call last): PS C:\Users\USER\AppData\Local\Programs\Python\Python38-32\Lib\site-packages\selenium\webdriver> python py4.py DevTools listening on ws://127.0.0.1:58047/devtools/browser/b5b368df-a040-40c0-b20c-9754ab89abe0 PS C:\Users\USER\AppData\Local\Programs\Python\Python38-32\Lib\site-packages\selenium\webdriver> python py4.py DevTools listening on ws://127.0.0.1:58108/devtools/browser/9d932f6e-10bc-444a-8254-1d45d4a1d35d ['CDwindow-FCDFF87FC00982E5E47F38B05CCA7CD5'] KLIB_SelfTest return : KLR_OK ['CDwindow-FCDFF87FC00982E5E47F38B05CCA7CD5'] Traceback (most recent call last): File "py4.py", line 29, in <module> element = driver.find_element_by_xpath("/html/body/div/div/div[4]/div[3]/div[2]/div[1]/form/div/div") File "C:\Users\USER\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 394, in find_element_by_xpath return self.find_element(by=By.XPATH, value=xpath) File "C:\Users\USER\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 976, in find_element return self.execute(Command.FIND_ELEMENT, { File "C:\Users\USER\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 321, in execute self.error_handler.check_response(response) File "C:\Users\USER\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"/html/body/div/div/div[4]/div[3]/div[2]/div[1]/form/div/div"} (Session info: chrome=83.0.4103.106)

웹-크롤링 python

답변 0

작업형 2 연습문제 섹션 6

0

1

1

F1-score

0

6

1

작업형 2번 섹션 3

0

6

1

작업형 2 인코딩, 결측치, 모델 선택 질문

0

6

0

인코딩 방식 문의

0

9

1

9회 3유형 ==> 7회 3유형 질문드려요

0

5

1

예제를 좀 다양하게 해주세요. 너무 간단한 예제만 있어서 ... 좀 그렇습니다.

0

3

0

17강 강의 마지막 부분에서 헷갈리는 부분이 있습니다.

0

5

0

보라색 예약어

0

8

1

작업형 2관련 질문입니다

0

10

2

#을 붙이는 이유

0

10

1

작업형2 카테고리

0

17

2

110강 회귀_8번 문의

0

10

2

XGBRegressor 학습 시 warning 출력

0

20

2

LLM판단에 문제가 있는 것 같습니다

0

12

1

데이터 프레임을 변경해도 되나요?

0

11

2

10회 기출 작업형3 문제 2-1 질문

0

18

2

작업형 2 질문

0

18

2

62강 노션 링크 사용권한 승인 부탁드립니다.

0

11

2

62강 노션 링크 사용권한 승인 부탁드립니다.

0

11

1

dmoz.org에 접속하면 400 Bad Request에러가 납니다

0

228

0

패키지 설치부분

0

321

0

블로그에 ppt와 강의영상을 토대로 정리를 해도 될까요??

0

308

1

안녕하세요. 궁금한 점이 있습니다.

0

226

0