파이썬 자동화를 서버프로그램으로 만들고 싶은데
357
작성한 질문수 29
만들고 싶은게 크롤링 여러개의 프로그램 동시 작용을 원하는데
공용서버에서 파이썬을 돌리는걸 배우고 싶은데
파이썬 어느 분야인가요 .. 문과라서 파이썬 서버라고 찾아도 자료가 없어서
이런분야는 어떤과목인가요
답변 1
1
안녕하세요.
멀티 크롤링 병렬 처리는 가장 쉽게 사용해 볼 수 있는 방법은 scrapy를 사용하는 것입니다.
분산처리는 지원하지 않지만, queue 기반으로 다수 사이트 멀티 크롤링을 지원하고
기타 미들웨어, 파이프라인 등으로 견고하고 안정적인 크롤링을 해볼 수 있습니다.
현재 예제에서 error 발생
0
367
3
유튜브 동영상 다운로드
0
1448
2
Atom 에디터 관련
0
337
1
위시켓 폼데이터
0
274
1
스케줄러 사용 관련 질문 드립니다
0
627
1
selenium 에러
0
428
1
Progress bar 쓰레드 관련
0
489
1
Install Package 관련 문의
0
328
1
tkinter 샘플 코드 실행 오류 건
0
1267
1
4-7-6 네이버 & 카카오 주식 정보 가져오기
0
381
1
네이버자동로그인_by_selenium
0
876
1
위시캣 로그인 처리 및 크롤링 질문
0
345
1
2-8-1 네이버이미지 크롤링 질문
1
604
3
li:nth-of-type 질문
0
350
2
에러가 뜨는데 잘 모르겠어요ㅠ
0
401
2
Install Packages 항목이 안보이는 이유가 뭘까요?
0
401
2
환경변수 Path 설정 방법
0
631
1
웹 브라우저 없는 스크랩핑 및 파싱 실습(1) - 인프런
0
333
1
웹 브라우저 없는 스크랩핑 및 파싱 실습(1) -git주소
0
477
3
download2-8-1. py질문
0
203
1
ip 차단 당하는 거 같은데 아무리 랜덤주고, sleep 줘도 안 되는데 다른 방법 더 있을까요??
0
645
1
인프런 환경이 바뀌어서 제나름대로 하는데
0
196
1
다시올려주신 예제파일로하는데
0
190
1
아직도 에러가뜨나보네요?
0
584
1