inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[신규 개정판] 이것이 진짜 크롤링이다 - 기본편

네이버에서 크롤링 하는데 자꾸 에러가 뜹니다.

1147

ohhoi88

작성한 질문수 1

1

py 파일에서 실행하면 계속 아래와 같이 에러가 뜨네요.

import requests

response = requests.get("https://www.naver.com")
html = response.text
print(html)

 

 

Traceback (most recent call last):
  File "d:\000. ����\000. �� ����\���α׷���\��ũ�Ѹ�_�⺻\Chap.3\req1.py", line 5, in <module>
    print(html)
UnicodeEncodeError: 'cp949' codec can't encode character '\u22ef' in position 10244: illegal multibyte sequence

그리고 어떨 때는 아래와 같이 에러가 뜹니다.

Traceback (most recent call last):
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\site-packages\urllib3\connectionpool.py", line 703, in urlopen
    httplib_response = self._make_request(
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\site-packages\urllib3\connectionpool.py", line 386, in _make_request
    self._validate_conn(conn)
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\site-packages\urllib3\connectionpool.py", line 1040, in _validate_conn
    conn.connect()
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\site-packages\urllib3\connection.py", line 416, in connect
    self.sock = ssl_wrap_socket(
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\site-packages\urllib3\util\ssl_.py", line 449, in ssl_wrap_socket
    ssl_sock = _ssl_wrap_socket_impl(
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\site-packages\urllib3\util\ssl_.py", line 493, in _ssl_wrap_socket_impl
    return ssl_context.wrap_socket(sock, server_hostname=server_hostname)
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\ssl.py", line 512, in wrap_socket
    return self.sslsocket_class._create(
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\ssl.py", line 1070, in _create
    self.do_handshake()
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\ssl.py", line 1341, in do_handshake
    self._sslobj.do_handshake()
ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:997)

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\site-packages\requests\adapters.py", line 440, in send
    resp = conn.urlopen(
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\site-packages\urllib3\connectionpool.py", line 785, in urlopen
    retries = retries.increment(
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\site-packages\urllib3\util\retry.py", line 592, in increment
    raise MaxRetryError(_pool, url, error or ResponseError(cause))
urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='www.naver.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:997)')))

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "d:\000. ����\000. �� ����\���α׷���\��ũ�Ѹ�_�⺻\Chap.3\req1.py", line 3, in <module>
    response = requests.get("https://www.naver.com")
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\site-packages\requests\api.py", line 75, in get
    return request('get', url, params=params, **kwargs)
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\site-packages\requests\api.py", line 61, in request
    return session.request(method=method, url=url, **kwargs)
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\site-packages\requests\sessions.py", line 529, in request
    resp = self.send(prep, **send_kwargs)
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\site-packages\requests\sessions.py", line 645, in send
    r = adapter.send(request, **kwargs)
  File "C:\Users\HEC\AppData\Local\Programs\Python\Python310\lib\site-packages\requests\adapters.py", line 517, in send
    raise SSLError(e, request=request)
requests.exceptions.SSLError: HTTPSConnectionPool(host='www.naver.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:997)')))

 

 

그런데 신기한 점은 ipynb 파일에선 문제없이 실행됩니다.

대체 어떻게 해야하죠? 몇시간동안 해매고있습니다.

 

웹-크롤링 python

답변 1

0

스타트코딩

안녕하세요.

코딩을 가장 쉽게 알려주는 크리에이터 스타트코딩입니다.

 

흠.. 뭔가 제 생각에

환경설정 (파이썬 설치 및 vscode 설치)이 잘못 된 것 같습니다.

 

https://youtu.be/REUu0T1xsiU

위 영상 6:40 부터 따라 하면서

파이썬, vscode를 전체 삭제 후 재설치 해보시기 바랍니다 ^^

 

- 스타트코딩 드림. 

 

Live server 를 이용 해보고 싶은데 확장메뉴 설치가 막혀 있어요

0

89

2

'팀 단위 AI 업무 혁신' 자문 관련하여 문의드리고자 합니다. (연락처 요청)

0

60

1

import requests from bs4 import BeatifulSoup 이 단계에서 안 되네요

0

111

2

requests 관련 질문

1

154

2

설치 관련

0

141

2

vs code 결과출력이 안됩니다

0

166

1

크롤링 관련 질문입니다

0

231

2

word wrap 체크 후에도 콘솔 한줄로 출력되는현상

0

199

1

주피터에서 pip오류가 계속납니다

0

1114

3

강의 "requests, Beautifulsoup4 사용법 빠르게 알아보기"에서 질문이있습니다.

0

184

2

네이버쇼핑 검색창 넘어가기전 팝업창이 안사라져요

0

385

1

html주소를 다른 컴터에서도 접속하기

0

255

2

pandas 설치하는데 오류가 나서요

0

2767

1

실행오류

0

229

1

네이버쇼핑 무한스크롤 안되시는분들 모바일네이버로 실습해보세요

0

276

1

뉴스 페이지에 페이지 번호가 없는데 어떻게 가져오나요?

0

249

2

네이버 쇼핑에 팝업창이 뜨기 시작했어요 도와주세요 ㅠㅠ

0

740

3

셀레니움 실습 시 창이 자동 차단되면서 꺼집니다.

0

676

2

낮은 가격순을 클릭하는 문을 추가하고싶습니다.

0

309

2

pip는 내부 또는 외부명령 ,실행할 수 있는 프로그램

0

3455

2

이런오류는 어떤 오류인가요

0

669

1

창이 두개떠요/쇼핑검색도 안되요 ㅜ

0

339

2

약간 변태(?)같지만 해당 코드를 깔끔하게 함수로 리팩토링해보았습니다

0

343

2

과제 답안을 보지않고 스스로 구글링해서 만든 웹 크롤링 프로그램(10페이지 단위) 코드입니다.

0

773

2