sync/async fetcher 크롤링 전체가 안됩니다.

Question

안녕하세요. 강의 04-1, 04-2 코드를 그대로 실행시키면 전체 소스 크롤링이 안됩니다. 따로 설정해줘야하는 코드가 있을까요? 환경은 윈도우10, Python 3.9.1 입니다.

caput3545 · Answer

안녕하세요 구자웅님. 질문해주신 첫번째 코드를 아래와 같이 실행해본 결과 네이버와 구글의 모든 소스코드가 크롤링 된 것을 확인했습니다. import requests import time def fetcher(session, url): with session.get(url) as res: return res.text def main(): urls = ["https://www.naver.com", "https://www.google.com"] with requests.Session() as session: result = [fetcher(session, url) for url in urls] print(result) if __name__ == "__main__": main() 질문을 조금 더 자세하게 작성해주시면, 답변하기 조금 더 수월할 것 같습니다. 더불어 코드는 인프런의 에디터에 포함되어 있는 [코드 입력기]로 전체 코드를 복사 붙여넣기 해주시면 감사하겠습니다. 자세한 질문 내용 새로운 게시글로 작성해주시면, 곧바로 답변해드리겠습니다. 감사합니다 :)