파이썬을 이용한 웹 크롤링(Web Crawling) 어플리케이션 만들기대시보드

from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.action_chains import ActionChains import time from urllib.request  import urlopen from urllib.parse import quote_plus from bs4 import BeautifulSoup   from requests_html import HTMLSession import time driver = webdriver.Chrome()  session = HTMLSession() baseUrl = 'https://www.courtauction.go.kr/' driver.get(baseUrl) print(driver.window_handles) time.sleep(3) driver.switch_to.window(driver.window_handles[1]) driver.close() driver.switch_to.window(driver.window_handles[0]) print(driver.window_handles)  f = open('jquery-3.4.1.min.js', 'r') driver.execute_script(f.read()) element = driver.find_element_by_xpath("/html/body/div/div/div[4]/div[3]/div[2]/div[1]/form/div/div") element.click() print(element)  #main_btn > a #javascript = driver.find_element_by_xpath('//*[@id="main_btn"]/div')  #javascript.click() f.close() 이렇게 크롤링을 했는데 아래처럼 오류가 나요 이유를 모를겠씁니다 PS C:\Users\USER\AppData\Local\Programs\Python\Python38-32\Lib\site-packages\selenium\webdriver> python py4.py DevTools listening on ws://127.0.0.1:57644/devtools/browser/ce3a0c10-1e5f-448a-9768-7a3731b4bdba ['CDwindow-761E40B9B36801AA66BCBD3A4BD8C663'] KLIB_SelfTest return : KLR_OK ['CDwindow-761E40B9B36801AA66BCBD3A4BD8C663'] Traceback (most recent call last): PS C:\Users\USER\AppData\Local\Programs\Python\Python38-32\Lib\site-packages\selenium\webdriver> python py4.py DevTools listening on ws://127.0.0.1:58047/devtools/browser/b5b368df-a040-40c0-b20c-9754ab89abe0 PS C:\Users\USER\AppData\Local\Programs\Python\Python38-32\Lib\site-packages\selenium\webdriver> python py4.py DevTools listening on ws://127.0.0.1:58108/devtools/browser/9d932f6e-10bc-444a-8254-1d45d4a1d35d ['CDwindow-FCDFF87FC00982E5E47F38B05CCA7CD5'] KLIB_SelfTest return : KLR_OK ['CDwindow-FCDFF87FC00982E5E47F38B05CCA7CD5'] Traceback (most recent call last): File "py4.py", line 29, in <module> element = driver.find_element_by_xpath("/html/body/div/div/div[4]/div[3]/div[2]/div[1]/form/div/div") File "C:\Users\USER\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 394, in find_element_by_xpath return self.find_element(by=By.XPATH, value=xpath) File "C:\Users\USER\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 976, in find_element return self.execute(Command.FIND_ELEMENT, { File "C:\Users\USER\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 321, in execute self.error_handler.check_response(response) File "C:\Users\USER\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"/html/body/div/div/div[4]/div[3]/div[2]/div[1]/form/div/div"} (Session info: chrome=83.0.4103.106)

ㄴ

zliblg-dev 가 설치가 되지않네요

3강까지 보고 정리를 해둔 상태인데, 5강제목을 보고 저작권과 관련한 사항일까봐 여쭈어봅니다!ㅎㅎ

oneq님의 강의를 듣고, scrapy를 이용해서 사이트를 크롤링 하려고 합니다.   제가 부딪힌 부분은, 해당 사이트에 여러 아이디를 로그인해서 크롤링 하려고 하는데. (아이디마다 정보가 다르게 표시 됩니다.)   이 부분을 어떻게 해결해야 할지 모르겠습니다.   원하는 로직은 이렇습니다. 1번 아이디 로그인, 스크랩, 로그아웃 2번 아이디 로그인, 스크랩, 로그아웃 .. .. ..   이런식으로 진행하고 싶은데, 제가 어떤식으로 접근하면 좋을지 감이 잡히지 않습니다. 도움을 주시면 감사하겠습니다.