Inflearn Community Q&A
asked
파이썬 자동화를 서버프로그램으로 만들고 싶은데
Written on
·
340
0
만들고 싶은게 크롤링 여러개의 프로그램 동시 작용을 원하는데
공용서버에서 파이썬을 돌리는걸 배우고 싶은데
파이썬 어느 분야인가요 .. 문과라서 파이썬 서버라고 찾아도 자료가 없어서
이런분야는 어떤과목인가요
python웹-크롤링
Answer 1
1
niceman
Instructor
안녕하세요.
멀티 크롤링 병렬 처리는 가장 쉽게 사용해 볼 수 있는 방법은 scrapy를 사용하는 것입니다.
분산처리는 지원하지 않지만, queue 기반으로 다수 사이트 멀티 크롤링을 지원하고
기타 미들웨어, 파이프라인 등으로 견고하고 안정적인 크롤링을 해볼 수 있습니다.