파이썬을 이용한 웹 크롤링(Web Crawling) 어플리케이션 만들기

파이썬을 이용한 웹 크롤링(Web Crawling) 어플리케이션 만들기

(31개의 수강평)

7009명의 수강생
Python웹 크롤링
무료
지식공유자 · onecue
7회 수업· 총 3시간 9분수업
평생 무제한 시청
수료증 미발급 강의
수강 난이도 초급
지식공유자의 다른 강의
연관 로드맵
연관 로드맵이 없어요.
박대해 프로필

크롤링 오류 박대해 24일 전
from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.action_chains import ActionChains import time from urllib.request  import urlopen from urllib.parse import quote_plus from bs4 import BeautifulSoup   from requests_html import HTMLSession import time driver = webdriver.Chrome()  session = HTMLSession() baseUrl = 'https://www.courtauction.go.kr/' driver.get(baseUrl) print(driver.window_handles) time.sleep(3) driver.switch_to.window(driver.window_handles[1]) driver.close() driver.switch_to.window(driver.window_handles[0]) print(driver.window_handles)  f = open('jquery-3.4.1.min.js', 'r') driver.execute_script(f.read()) element = driver.find_element_by_xpath("/html/body/div/div/div[4]/div[3]/div[2]/div[1]/form/div/div") element.click() print(element)  #main_btn > a #javascript = driver.find_element_by_xpath('//*[@id="main_btn"]/div')  #javascript.click() f.close() 이렇게 크롤링을 했는데 아래처럼 오류가 나요 이유를 모를겠씁니다 PS C:\Users\USER\AppData\Local\Programs\Python\Python38-32\Lib\site-packages\selenium\webdriver> python py4.py DevTools listening on ws://127.0.0.1:57644/devtools/browser/ce3a0c10-1e5f-448a-9768-7a3731b4bdba ['CDwindow-761E40B9B36801AA66BCBD3A4BD8C663'] KLIB_SelfTest return : KLR_OK ['CDwindow-761E40B9B36801AA66BCBD3A4BD8C663'] Traceback (most recent call last): PS C:\Users\USER\AppData\Local\Programs\Python\Python38-32\Lib\site-packages\selenium\webdriver> python py4.py DevTools listening on ws://127.0.0.1:58047/devtools/browser/b5b368df-a040-40c0-b20c-9754ab89abe0 PS C:\Users\USER\AppData\Local\Programs\Python\Python38-32\Lib\site-packages\selenium\webdriver> python py4.py DevTools listening on ws://127.0.0.1:58108/devtools/browser/9d932f6e-10bc-444a-8254-1d45d4a1d35d ['CDwindow-FCDFF87FC00982E5E47F38B05CCA7CD5'] KLIB_SelfTest return : KLR_OK ['CDwindow-FCDFF87FC00982E5E47F38B05CCA7CD5'] Traceback (most recent call last): File "py4.py", line 29, in <module> element = driver.find_element_by_xpath("/html/body/div/div/div[4]/div[3]/div[2]/div[1]/form/div/div") File "C:\Users\USER\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 394, in find_element_by_xpath return self.find_element(by=By.XPATH, value=xpath) File "C:\Users\USER\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 976, in find_element return self.execute(Command.FIND_ELEMENT, { File "C:\Users\USER\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 321, in execute self.error_handler.check_response(response) File "C:\Users\USER\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"/html/body/div/div/div[4]/div[3]/div[2]/div[1]/form/div/div"} (Session info: chrome=83.0.4103.106)

0
tomato 프로필

dmoz.org에 접속하면 400 Bad Request에러가 납니다 tomato 6달 전

0
종진TV 프로필

패키지 설치부분 종진TV 8달 전
zliblg-dev 가 설치가 되지않네요

0
임예은 프로필

블로그에 ppt와 강의영상을 토대로 정리를 해도 될까요?? 임예은 2017.07.16
3강까지 보고 정리를 해둔 상태인데, 5강제목을 보고 저작권과 관련한 사항일까봐 여쭈어봅니다!ㅎㅎ

1
김수린 프로필

안녕하세요. 궁금한 점이 있습니다. 김수린 2016.09.05
oneq님의 강의를 듣고, scrapy를 이용해서 사이트를 크롤링 하려고 합니다.   제가 부딪힌 부분은, 해당 사이트에 여러 아이디를 로그인해서 크롤링 하려고 하는데. (아이디마다 정보가 다르게 표시 됩니다.)   이 부분을 어떻게 해결해야 할지 모르겠습니다.   원하는 로직은 이렇습니다. 1번 아이디 로그인, 스크랩, 로그아웃 2번 아이디 로그인, 스크랩, 로그아웃 .. .. ..   이런식으로 진행하고 싶은데, 제가 어떤식으로 접근하면 좋을지 감이 잡히지 않습니다. 도움을 주시면 감사하겠습니다.    

0
지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스