-
질문 & 답변
카테고리
-
세부 분야
데이터 분석
-
해결 여부
미해결
파이썬 자동화를 서버프로그램으로 만들고 싶은데
19.06.04 00:21 작성 조회수 216
0
만들고 싶은게 크롤링 여러개의 프로그램 동시 작용을 원하는데
공용서버에서 파이썬을 돌리는걸 배우고 싶은데
파이썬 어느 분야인가요 .. 문과라서 파이썬 서버라고 찾아도 자료가 없어서
이런분야는 어떤과목인가요
답변을 작성해보세요.
1
좋은사람
지식공유자2019.06.04
안녕하세요.
멀티 크롤링 병렬 처리는 가장 쉽게 사용해 볼 수 있는 방법은 scrapy를 사용하는 것입니다.
분산처리는 지원하지 않지만, queue 기반으로 다수 사이트 멀티 크롤링을 지원하고
기타 미들웨어, 파이프라인 등으로 견고하고 안정적인 크롤링을 해볼 수 있습니다.
답변 1