inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

브라우저를 제어해서 크롤링하기 - Selenium 이해 및 설치

안되는 사람은 이렇게 시도 ㄱ

424

Howoo Jang

작성한 질문수 5

1

이러면 브라우저 나옵니다.

selenium 웹-크롤링 scrapy

답변 3

0

먼길

Mac 카탈리나 최신 버전(10.15.7)에 크롬 최신버전(85.0.4183.121)인 경우 크롬 드라이버를 사이트에서 "85.0.4183.83" 또는 이거 버전 이하로 다운 받아 설치하셔야 실행 됩니다. 그렇게 하면 코드는 강의에 나온대로 똑 같이 해도 실행 됩니다.

또 하나, 맥북 이용자가 크롬 웹드라이버를 받은 후 파일 설치할 때 터미널 이용이 어려우시면, 파인더 실행 후 "커맨드+시프트+G" 누른 후 "/usr/local/Cellar/" 직접 입력해 주면, 해당 위치로 이동 합니다. 그리고 "Chromedriver" 폴더를 만들어 주신 후 그 안에 드라이버 파일 복사해주세요.

마지막으로 맥에서는 이것만으로 실행이 안되는데 맥OS 시스템 환경 설정(톱니바퀴 아이콘)에 가서 보안/Security 항목에 가신 후 일반/제너럴 탭에서 Open anyway 클릭해 줘야 합니다. 그 후에 다시 시도하면 될 겁니다. 저게 팝업으로 뜨기도 하는데 같이 해주시면 되요.

처음부터 막혀서 포기하는 분을 방지하고자 댓글 남깁니다.

0

Kyuwon Hwang

선생님 주소가 아닌 제가 저장한 디렉토리대로 하니 되는군요! ㅎㅎ 첫 강의 스타트 잘 끊고 갑니다 :)

0

잔재미코딩 DaveLee

안녕하세요. 환경에 따라 안되는 경우가 있을 수 있는데, 잘 찾으셨습니다.

추가로, 맥 환경에서도 Catalina로 업데이트 후에, 테스트를 해보니, /usr/local/bin/ 디렉토리 안에 chromedriver를 옮겨놓고나서 실행이 가능하네요.

----------

from selenium import webdriver

# 드라이버 생성 - Chrome() 함수 내에 executable_path를 명시하는 방법 

# driver = webdriver.Chrome(executable_path=r"C:/path/chromedriver.exe")

chromedriver = '/usr/local/bin/chromedriver' 

driver = webdriver.Chrome(chromedriver)

----------

감사합니다. 관련 사항 한번 공유하겠습니다.

코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다

0

626

1

scrapy를 jupyter 환경에서 할 수 있나요

0

361

1

[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.

0

313

1

[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문

0

221

1

[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문

0

279

1

xml을 parsing할때 <을 &lt; 로 인식합니다.

0

335

1

pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ

0

292

3

PhantomJS 문의

0

294

1

selenium 문의

0

330

1

브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의

0

3004

1

on error 해결 방법 질문

0

356

1

[팁] 윈도우 cmd 커맨드

0

347

1

[팁]Chrome User Agent 아는법

0

328

1

실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문

0

254

1

동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?

0

237

1

CSS Selector 에서 질문이 있습니다.

0

435

2

pip install scrapy 오류

0

484

1

셀레니움 실행불가

0

1578

1

실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.

0

227

1

언제 get_text()를 사용하고 또 언제 .text를 사용하나요?

0

288

1

강의교안자료 받을수있을까요?

0

263

1

[강의 9:27관련 질문] price, title 열 위치

0

160

1

div에 있는 클래스가 2개이면 어떻게 하나요?

0

368

1

css 셀렉터에 대해 질문이 있습니다.

0

147

1