inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]

연습문제로 풀어보기3 : 동적 웹사이트 크롤링과 활용

연습6 모범 코드: 로그인 시나리오 해보기

272

리쿤

작성한 질문수 8

0

안되시는 분들 아래 코드로 해보시면 좋을듯합니다.

Set of supported locator strategies.

CLASS_NAME = 'class name' CSS_SELECTOR = 'css selector' ID = 'id' LINK_TEXT = 'link text' NAME = 'name' PARTIAL_LINK_TEXT = 'partial link text' TAG_NAME = 'tag name' XPATH = 'xpath'

 

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time

# 드라이버 생성
# chromedriver 설치된 경로를 정확히 기재해야 함
chromedriver = 'C:/dev_python/Webdriver/chromedriver.exe' # 윈도우 
#chromedriver = '/usr/local/Cellar/chromedriver/chromedriver' # 맥
driver = webdriver.Chrome(chromedriver)

# 크롤링할 사이트 호출
driver.get("https://davelee-fun.github.io/blog/TEST/index.html")

#<input id="username" type="text" name="username" placeholder="아이디">
elem_id = driver.find_element("name","username")
elem_id.clear()
elem_id.send_keys("error@error.com")
time.sleep(1)

#<input id="password" type="password" name="password" placeholder="비밀번호">
elem_pw = driver.find_element("name","password")
elem_pw.clear()
elem_pw.send_keys("1234")
time.sleep(1)

#<input type="submit" value="로그인">
elem_button = driver.find_element("css selector", "input[type='submit']")
elem_button.send_keys(Keys.RETURN)
#elem_button.click()
time.sleep(2)

elem = driver.find_element("class name", "news")
print (elem.text)
time.sleep(2)

driver.quit()

 

bigdata scrapy 웹-크롤링 selenium

답변 1

0

잔재미코딩 DaveLee

안녕하세요.

자료를 모두 업데이트하였습니다. 공지도 드려서, 자료를 새로 다운받으시면, 변경된 함수로 동작하도록 코드를 수정하여서, (제가 다 확인했는데 ? 너무 많아서 ㅎㅎ 혹시 놓친 부분이 있다면, 또 괜찮으시다면, dream@fun-coding.org 로 알려주셔도 좋습니다.) 정상 동작할 것입니다.

감사합니다.

[REST API] data의 교환방식 질문

1

666

1

headless chrome 오류 문의

0

1488

1

Selenium 처리 속도 관련 문의드립니다.

0

1955

1

동적 웹사이트에서 element가 선택되지 않는 문제에 관해 질문드립니다

0

687

1

webdriver manager

0

440

1

__init__() got an unexpected keyword argument 'service' 에러 질문드립니다.

1

11713

1

Jupiter NoteBook 파일과 PDF 파일은 어디서 다운로드 받을 수 있나요?

0

444

1

scrapy option질문

1

244

1

response.css 질문드립니다.

0

372

1

scrapy 크롤링 수행시 ffi.callback() 에러가 발생합니다

0

397

1

selenium으로 여러페이지 수집시 질문

0

381

1

셀레니움 문법 업그레이드 , find_element_by_tag_name 오류

3

2832

1

셀레니움 버전 변경으로 인한 코드 변경

0

1285

1

headless error

0

441

1

질문있습니다!

0

463

1

안녕하세요 선생님! 질문있습니다.

0

233

1

selenium&scrapy문의

0

280

1

아래분(phantele47)과 동일한 문제가 발생해서 문의드립니다.

0

910

6

ip 차단을 피하려면 어떻게 해야 하나요?

0

3370

2

start_urls = ['']가 제공해주신 것과 다르게 작동합니다.

1

287

2

json, data = json.loads(response.body_as_unicode()) 부분에 문제가 있는 것 같습니다.

0

604

3

웹크롤링이 상대방 서버에 부담이 될 때는 어떻게 하나요~?

0

685

1

scrapy 윈도우버전의 설명은 따로 없나요??

0

332

1

json 으로 저장이 안되네요

0

2133

1