인프런 커뮤니티 질문&답변

민현 지님의 프로필 이미지

작성한 질문수

내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)

안녕하세요~ 멀티프로세싱 질문있습니다!

22.03.18 22:46 작성

·

263

0

안녕하세요~ 크롤링 속도를 위해서 멀티프로세싱을 사용하였는데요.

pool.map(함수, 인자)

이렇게 pool.map에 등록한 함수를 계속 일정 시간 마다 반복시키고 싶은데

멀티프로세싱에 등록된 함수내에서 쓰레드 타이머를 사용하니 반복이 안되더라구요.

목적은 병렬로 특정 시간마다 주기적으로 반복하고 싶은것인데..

검색해도 잘 나오지 않네요 ㅠㅠ

도움 주시면 감사하겠습니다!

답변 1

0

DeepingSauce님의 프로필 이미지
DeepingSauce
지식공유자

2022. 03. 19. 09:02

안녕하세요.

해당내용은 수업에서 다루지 않는 부분이라  도움드리기가 좀 어려울듯합니다.

다만, 해당부분은 aysncio 등의 형태로 접근하는것이 더 작업하기 쉬운형태가 될 듯 합니다.

혹은 주기적으로 뭔가 trigger되어서 작동시키는 것이라면, workflow 툴(e.g. airflow) 도 검토해보시면 좋을 것 같습니다. 

감사합니다.