inflearn logo
강의

講義

知識共有

私たちのためのプログラミング:Python 中級 (Inflearn Original)

AsyncIO マルチスクレイピング 実践 (1-2)

스크랩핑 실습 중 Mac OS 인증서 문제

128

thx

投稿した質問数 1

0

asyncIO 스크랩핑 실습 중 macOS에서 SSL인증서 문제로 인해 추가적으로 인증서 설치 등을 진행해야 하더라구요. 아래와 같이 수정하여, 코드 실행에는 문제가 없었는데 비동기 예제이다보니 추가적으로 선언한 get_request를 사용 시 동기화 문제에서 자유로운지 궁금합니다.

 

제가 한 것은 아래와 같이 SSL 인증서 설치 (Python 3.13 ver)

/Applications/Python\ 3.13/Install\ Certificates.command

 

일부 코드 수정

import ssl
import certifi

# 인증서 설정
ssl_context = ssl.create_default_context(cafile=cerfiti.where())

# 추가적으로 추가한 함수
def get_request(url):
    headers = {'User-Agent' : 'Mozila/5.0'}
    req = Request(url, headers=headers)
    return urlopen(req, context=ssl_context)

async def fetch(url, executor):
    res = await loop.run_in_executor(executor, lambda: get_request(rul))
    return res.read()

python django

回答 1

0

niceman

안녕하세요. 육칠팔구십 님

SSL 인증서는 코드 상에 영향을 끼치지 않아요.

잘 하셨습니다.

저도 맥에서 테스트 할 때는 SSL 설치 후 크롤링을 시도합니다.

혹여나 더 깊게 알아보고 추가 사항이 나오면 말씀드리겠습니다.

감사합니다.

진도미확인 (진도가 안 넘어감)

0

39

1

RuntimeError: There is no current event loop in thread 'MainThread'

0

83

1

chapter 07-01 실행 오류

0

66

1

Chapter05-04 : sum_func의 합이 이중 출력됩니다.

0

76

2

45. 병렬성 2 - Futures(5-1) wait가 의도된 대로 동작하지 않습니다.

0

92

2

멀티스레딩 - 44. 병렬성 1 - Futures(4-2)

0

70

2

chapter05_02 클로저 질문사항 !

0

49

1

LV1 설정

0

87

2

매직 메소드의 호출 방법 차이 문의

0

131

2

왜 numbers리스트를 만들때 str으로 숫자를 감싸나요?

0

93

2

AsyncIO 멀티 스크랩핑 실습 예제 관련 질문

0

167

1

강의자료가 영상과 다릅니다

0

255

2

closure.cell_contents 초기화 하기 문의

0

128

2

map함수 사용 시, list변환 방법 문의

0

335

2

__mul__ 백터 * 숫지, 백터 * 백터 처리

0

143

1

del처리후 질문입니다.

0

153

1

car_list(car1,car2,car3) 인스턴스 tuple 타입 문의

0

223

1

coroutine에 대한 질문

0

242

1

제너레이터 이터레이터 질문이 있습니다.

0

248

1

atom install package search not working

0

275

1

Magic Method - Not Implemented

0

394

1

가상환경 질문!

0

401

1

병렬처리 추가 질문이 있습니다.

0

243

1

멀티프로세싱 관련 질의

0

278

1