인프런 커뮤니티 질문&답변
작성한 질문수
파이썬 자동화를 서버프로그램으로 만들고 싶은데
작성
·
355
답변 1
1
좋은사람
지식공유자
안녕하세요.
멀티 크롤링 병렬 처리는 가장 쉽게 사용해 볼 수 있는 방법은 scrapy를 사용하는 것입니다.
분산처리는 지원하지 않지만, queue 기반으로 다수 사이트 멀티 크롤링을 지원하고
기타 미들웨어, 파이프라인 등으로 견고하고 안정적인 크롤링을 해볼 수 있습니다.
작성한 질문수
작성
·
355
답변 1
1
안녕하세요.
멀티 크롤링 병렬 처리는 가장 쉽게 사용해 볼 수 있는 방법은 scrapy를 사용하는 것입니다.
분산처리는 지원하지 않지만, queue 기반으로 다수 사이트 멀티 크롤링을 지원하고
기타 미들웨어, 파이프라인 등으로 견고하고 안정적인 크롤링을 해볼 수 있습니다.