파이썬 병렬처리 관련 질문이 있습니다.

Question

안녕하세요 질문이 있습니다.   스레드 또는 프로세스 최대 생성 개수을 300개로 제한을 두고, 특정 스레드 또는 프로세스의 작업 종료시점에 새로운 스레드 또는 프로세스 생성하여 제한 개수를 지속적으로 유지할 수 있는 방법이 궁금합니다.   즉 생성 제한개수 300개는 넘지 않지만 300개 이하시 계속적으로 추가하며 300개를 지속적으로 유지하며 실행할 수 있는 방법이 있을까요?   구체적으로 예를들면 300개를 생성했는데 몇개의 프로세스가 작업을 완료하면 300개의 제한선에서 몇개의 생성 가용 개수가 허용될텐데(ex, -3개 종료 시 남은 수 297개: 3개 추가 가능) 이를 다른 스레드나 프로세스 종료를 기다리지 않고, 바로 다시 생성해서 채울 수 있는 방법이 있을까요?(ex, 남은 수 297개 + 추가 가능 3개: 300개) 단 항상 최대 수치는 300개입니다.   코멘트 주시면 감사하겠습니다. (만약 가능하시다면 코드로 말씀해주시면 더욱 감사하겠습니다!)

niceman · Answer

안녕하세요. 좋은 질문이예요! 예제로 한 번 만들어봐도 좋을 것 같습니다. 임계치의 스레드를 유지하는 방법에 대해서 질문 주신 것 같습니다. 코드를 제공드리는건 쉽지 않을 것 같습니다. 다만, 시간을 가지고 다음 예제로 한 번 추가해 보도록 하겠습니다. 짧은 검색으로는 대기열에 스레드를 담아놓고 완료된 스레드를 체크 후 제거해주고 지속적으로 생성하는 방법이 주로 쓰이는 것 같습니다. 해당 코드는 검색으로는 찾기 힘든것 같네요. 혹여나 발견한다면, 제공드리도록 하겠습니다. 감사합니다. 제가 읽어봤던 링크를 전달 드립니다. https://discuss.python.org/t/thread-limits/24346/6 https://stackoverflow.com/questions/19369724/the-right-way-to-limit-maximum-number-of-threads-running-at-once