inflearn logo
강의

Course

Instructor

Python for Advanced Users: Learn the Grammar of Concurrency and Parallelism Feat. Multithreading vs. Multiprocessing (Inflearn Original)

ProcessPoolExecutor 사용 시 pid 증가

349

seungsoookim7828

5 asked

0

안녕하세요 강사님,

ProcessPoolExecutor를 이용해서 아래와 같이 코드를 작성했는데요, return된 pid를 출력해보면 계속 증가하는 모습을 보이는데, python에서 할당받은 pid range 내에서만 반복되는 걸까요??? 이렇게 계속 증가하는게 별다른 문제는 되지 않을까요?

try:
    while True:
                with ProcessPoolExecutor(max_workers=6) as ex:
                    processes = {}
                    # submit tasks to the pool          
                    processes.update({ex.submit(self.hello, time)})

                    for future in as_completed(processes, timeout=3):
                        # check for a failure
                        if future.exception():
                            # report progress
                            LOG.error("Failed get %s", processes[future])

                        data = future.result()
                        module = processes[future]
                        pid = data

python 동시성

Answer 1

0

niceman

네 운영체제 -> 할당받은 프로세스를 사용하는 것이예요

무제한으로는 사용할 수 없고 max 값을 활용해서 limit 설정 후 사용하는 게 보편적인 활용방법이예요.

내가 처리하려는 작업의 처리량을 작은 단위부터 테스트 하면서 최적의 시간을 찾아가는 과정이라고

보시면 될 것 같습니다.

0

seungsoookim7828

감사합니다 그럼 파이썬에서 생성한 프로세스의 pid allocation은 일정 range내에서 circular로 돌아가게 되는건가요??

Pros and Cons 관련하여 질문드립니다

0

57

1

daemon=True가 안 먹히네요

0

80

2

threadpoolexecutor.submit 실행 시 순차 실행

0

211

2

queue 를 사용하는 이유?

1

223

1

멀티프로세싱 관련 질문

0

176

1

python gil 삭제

0

369

1

4분:59초 질문 그룹쓰레드 (5). 대기중인 작업 -> Queue -> 완료 상태조사 -> 결과 또는 예외 -> 단일화(캡슐화) 에 관해서

0

165

1

데몬스레드 설명

0

235

1

작업영역 질문

0

302

1

cmd에서 code작성시 기존에 깔아둔 vscode에서 이상한 화면이 뜨네요

0

284

1

ThreadPoolExecutor에서 작업중인 쓰레드가 있을때 대기할수 있는 방법이 있는지요?

0

271

1

py_ad_2_5_2 Sharing State의 Argument 부분

0

296

1

Thread(4) 16:10 스레드 질문

0

334

1

파이썬 병렬처리 관련 질문이 있습니다.

0

345

1

10:10쯤에 질문있습니다.

0

249

1

multiprocessing(5) - Queue 공유 질문 in multiprocess

0

429

1

seleniumwire multiprocessing 에러

0

723

1

logging과 print 차이 질문입니다..!

0

655

1

확장프로그램 질문입니다

0

291

1

KeyboardInterrupt 시 p.join에서 exception 발생

0

410

1

경쟁상태,교착상태, 메모리영역

0

253

1

multiprocess 환경에서 특정 Process에 문제가 있거나 죽었을때 처리 방법

0

746

1

ThreadPoolExecutor 에서 max_workers 질문입니다.

2

1517

1

1-3강의 내용중 질문있습니다.

0

234

1