inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]

Selenium 설치 (Hello Selenium!)

모듈 selenium 설치

1237

parksangil99

작성한 질문수 10

0

jupyter notebook에서 !pip install selenium

디버깅을 해도

ERROR: requests 2.22.0 has requirement urllib3!=1.25.0,!=1.25.1,<1.26,>=1.21.1, but you'll have urllib3 1.26.9 which is incompatible.
ERROR: Could not install packages due to an EnvironmentError: [WinError 5] 액세스가 거부되었습니다: 'c:\\programdata\\anaconda3\\lib\\site-packages\\urllib3-1.24.2-py3.7.egg-info\\dependency_links.txt'
Consider using the `--user` option or check the permissions.

 
이런 에러가 나오면서 from selenium import webdriver를 디버깅하면 no module selenium으로 나옵니다... anaconda navigator에서도 설치가 안되고 cmd에서도 설치가 안되는데 혹시 다른 방법이 있을까요?

웹-크롤링 selenium bigdata scrapy

답변 1

0

잔재미코딩 DaveLee

안녕하세요.

상당히 희한한 에러인 것 같은데, 구글로 에러 메세지를 검색해보니 유사한 케이스들이 있어보이기는 합니다. 

https://stackoverflow.com/questions/50202238/python-pip-requestsdependencywarning-urllib3-1-9-1-or-chardet-2-3-0-doe

 

버전과 PC OS 에 따른 무언가 라이브러리들의 충돌 같긴 한데요. 그러다보니 제가 그런 케이스를 본 적은 없긴 해요. 하지만, 에러메세지는 읽어보면, requests 라이브러리는 urllib3 가 특정 버전들이 필요하다 이런 느낌인 것 같아요. 그렇다면, 아예 다음과 같이 두 라이브러리를 우선 업데이트해보시면 어떠실까요?

!pip install --upgrade requests

!pip install --upgrade urllib3

이게 안되면 특정 버전을 설치를 해보는 방법도 있을 것 같은데, 그정도 상황이 되면, 만만한 상황이 아닐 것 같아요. 그런 상황이면, 아예 anaconda를 삭제 후, 최신 버전으로 설치를 해보신 후에 selenium 을 설치하시는 편이 더 나으실 수도 있어요. 이런 부분 혹시 도움이 되셨으면 좋겠습니다.

감사합니다.

[REST API] data의 교환방식 질문

1

679

1

headless chrome 오류 문의

0

1499

1

Selenium 처리 속도 관련 문의드립니다.

0

1964

1

동적 웹사이트에서 element가 선택되지 않는 문제에 관해 질문드립니다

0

697

1

webdriver manager

0

453

1

__init__() got an unexpected keyword argument 'service' 에러 질문드립니다.

1

11727

1

Jupiter NoteBook 파일과 PDF 파일은 어디서 다운로드 받을 수 있나요?

0

459

1

scrapy option질문

1

251

1

response.css 질문드립니다.

0

379

1

scrapy 크롤링 수행시 ffi.callback() 에러가 발생합니다

0

407

1

selenium으로 여러페이지 수집시 질문

0

390

1

연습6 모범 코드: 로그인 시나리오 해보기

0

283

1

셀레니움 문법 업그레이드 , find_element_by_tag_name 오류

3

2842

1

셀레니움 버전 변경으로 인한 코드 변경

0

1293

1

headless error

0

451

1

질문있습니다!

0

470

1

안녕하세요 선생님! 질문있습니다.

0

240

1

selenium&scrapy문의

0

290

1

아래분(phantele47)과 동일한 문제가 발생해서 문의드립니다.

0

926

6

ip 차단을 피하려면 어떻게 해야 하나요?

0

3405

2

start_urls = ['']가 제공해주신 것과 다르게 작동합니다.

1

302

2

json, data = json.loads(response.body_as_unicode()) 부분에 문제가 있는 것 같습니다.

0

616

3

웹크롤링이 상대방 서버에 부담이 될 때는 어떻게 하나요~?

0

695

1

scrapy 윈도우버전의 설명은 따로 없나요??

0

338

1