안녕하세요~ 멀티프로세싱 질문있습니다!
317
작성한 질문수 2
안녕하세요~ 크롤링 속도를 위해서 멀티프로세싱을 사용하였는데요.
pool.map(함수, 인자)
이렇게 pool.map에 등록한 함수를 계속 일정 시간 마다 반복시키고 싶은데
멀티프로세싱에 등록된 함수내에서 쓰레드 타이머를 사용하니 반복이 안되더라구요.
목적은 병렬로 특정 시간마다 주기적으로 반복하고 싶은것인데..
검색해도 잘 나오지 않네요 ㅠㅠ
도움 주시면 감사하겠습니다!
답변 1
0
안녕하세요.
해당내용은 수업에서 다루지 않는 부분이라 도움드리기가 좀 어려울듯합니다.
다만, 해당부분은 aysncio 등의 형태로 접근하는것이 더 작업하기 쉬운형태가 될 듯 합니다.
혹은 주기적으로 뭔가 trigger되어서 작동시키는 것이라면, workflow 툴(e.g. airflow) 도 검토해보시면 좋을 것 같습니다.
감사합니다.
15.1 네이버 부동산 사이트 개발자도구 실행시 현상 문의
0
908
1
requirments 설치 시 오류
0
102
1
6.1 미국주식 데이터 크롤링이 막혔네요.
0
237
2
태그를 못찾는 오류 질문드립니다.
0
147
2
6.1 미국 주식 데이터 크롤링을 막아둔 거 같아요.
0
286
2
requirements.txt 다운로드가 안끝나요
0
151
2
주신 파일로 다운로드를 하던 중에 끝에 이런 오류가 뜨는데 어떡해야하나요?
0
154
1
혹시 애플 M시리즈 사용하시는 분 중에 오류
0
153
0
전일비 상승,하락때문에 int화를 못하고 있는데
0
128
1
일별 시세 데이터 상승/하락 \t\n해결법
0
160
1
pd.concat(df, ignore_index=True) InvalidIndexError 해결 방법 문의
0
478
2
pip install -r requirements.txt 문제
0
371
3
부동산 KB 시세 크롤링 문의
0
831
1
7.1 주식 일별 시세 데이터(Yahoo finance)
1
383
1
네이버 부동산 매물 크롤링 오류
0
647
1
네이버 부동산 크롤링 문의드립니다.
0
1061
1
버전 관련 질문
0
356
1
5.2강 주식 일별 시세 데이터 관련 질문이 있습니다
0
283
1
7.1 야후 파이낸스 크롤링 request 오류
0
742
1
anaconda
0
360
1
야후파이낸스 크롤링 오류
0
826
1
셀레니움 변경점
2
792
1
request.get() 하면 SSLCertVerificationError 에러가 납니다.
0
522
1
이론 수업 자료 공유 해주실 수 있나요?
0
363
0