inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]

headless chrome 오류 문의

1488

이홍기

작성한 질문수 9

0

안녕하세요 headless chrome 오류 문의 드립니다.

1.PNG위 코드 실행 시..

1.PNGWebDriverException: Message: unknown error: Chrome failed to start: was killed. 오류문구가 뜨는데

크롬 드라이버 이슈가 있는 걸까요???

크롬, 크롬드라이버는 110버전으로 사용하고 있습니다.

추가로 셀레니움은 잘됩니다!!

빅데이터 bigdata 웹-크롤링 scrapy 웹-크롤링 selenium

답변 1

0

잔재미코딩 DaveLee

안녕하세요. 답변 도우미입니다.

selenium 이 잘되는데, headless chrome 이 안된다면, chromedriver.exe 버전 미스매치 문제는 아닌 것 같은데요. 두가지 의견을 드립니다.

한가지는 최근에 자주 크롬 브라우저가 다운되는 경우가 있더라고요. 저희도 이 이슈는 계속 탐색중인데, 맥에서만 있는 문제인지, 확인이 어렵더라고요. 컴퓨터를 껐다 킨 후, 크롬 브라우저 자체를 실행하셔서, 정상동작하는지를 확인한 후, 테스트해보시는 것도 좋을 것 같습니다.

두번째로, 아예 다음과 같이 chromedriver.exe 파일을 직접 다운받지 않고, 알아서 현재 크롬 브라우저에 맞게 설치하는 방법이 있습니다. 이 부분은 crawling_selenium_testing_V1_3_3.ipynb 파일의 중간에 윈도우에서 에러가 나는 경우에서도 설명을 드렸는데요. 해당 코드를 적용해보시면 좋을 것 같습니다.

driver = webdriver.Chrome(ChromeDriverManager().install(), options=headlessoptions)

그래서 아예 다음 챕터에 crawling_selenium_testing_V1_3_3.ipynb 파일을 업데이트했고요. 해당 코드로 정상동작하는 것도 확인하였습니다.

Selenium 과 Scrapy 프레임워크 큰 그림과 목표 이해하기

selenium 이 브라우저와 연결되어 있기도 하고, selenium 자체의 업데이트도 매우 빠르고, 하위 호환성을 깨는 경우도 많더라고요. 최대한 빠르게 자료로 업데이트해드리겠습니다.

감사합니다.

[REST API] data의 교환방식 질문

1

666

1

Selenium 처리 속도 관련 문의드립니다.

0

1955

1

동적 웹사이트에서 element가 선택되지 않는 문제에 관해 질문드립니다

0

687

1

webdriver manager

0

440

1

__init__() got an unexpected keyword argument 'service' 에러 질문드립니다.

1

11713

1

Jupiter NoteBook 파일과 PDF 파일은 어디서 다운로드 받을 수 있나요?

0

444

1

scrapy option질문

1

244

1

response.css 질문드립니다.

0

372

1

scrapy 크롤링 수행시 ffi.callback() 에러가 발생합니다

0

397

1

selenium으로 여러페이지 수집시 질문

0

381

1

연습6 모범 코드: 로그인 시나리오 해보기

0

272

1

셀레니움 문법 업그레이드 , find_element_by_tag_name 오류

3

2832

1

셀레니움 버전 변경으로 인한 코드 변경

0

1285

1

headless error

0

441

1

질문있습니다!

0

463

1

안녕하세요 선생님! 질문있습니다.

0

233

1

selenium&scrapy문의

0

280

1

아래분(phantele47)과 동일한 문제가 발생해서 문의드립니다.

0

910

6

ip 차단을 피하려면 어떻게 해야 하나요?

0

3370

2

start_urls = ['']가 제공해주신 것과 다르게 작동합니다.

1

287

2

json, data = json.loads(response.body_as_unicode()) 부분에 문제가 있는 것 같습니다.

0

604

3

웹크롤링이 상대방 서버에 부담이 될 때는 어떻게 하나요~?

0

685

1

scrapy 윈도우버전의 설명은 따로 없나요??

0

332

1

json 으로 저장이 안되네요

0

2133

1