Python 之小白的系统进程的理解之进程池Pool_python 多进程模拟一共有1w封邮件 worker进程数别设置多了和自己的cpu核心数有-CSDN博客

本文介绍如何使用Python的multiprocessing模块中的Pool方法来管理大量子进程。通过设置最大进程数，Pool可以自动分配任务给空闲进程，提高并发效率。文章通过一个具体示例展示了如何创建进程池并执行任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当需要创建的⼦进程数量不多时，可以直接利⽤multiprocessing中的Process动态成⽣多个进程，但如果是上百甚⾄上千个⽬标，⼿动的去创建进程的⼯作量巨⼤，此时就可以⽤到multiprocessing模块提供的Pool⽅法。

初始化Pool时，可以指定⼀个最⼤进程数，当有新的请求提交到Pool中时，如果池还没有满，那么就会创建⼀个新的进程⽤来执⾏该请求；但如果池中的进程数已经达到指定的最⼤值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程来执⾏，请看下⾯的实例：

from multiprocessing import Pool

import os,time,random

def worker(msg):
    t_start = time.time()
    print("%s开始执⾏,进程号为%d"%(msg,os.getpid()))

    time.sleep(random.random()*2)
    t_stop = time.time()
    print(msg,"执⾏完毕，耗时%0.2f"%(t_stop-t_start))

po=Pool(3)  #定义⼀个进程池，最⼤进程数3
for i in range(0,10):
    po.apply_async(worker,(i,))
print("----start----")
po.close()            #关闭进程池，关闭后po不再接收新的请求
po.join()           #等待po中所有⼦进程执⾏完成，必须放在close语句之后
print("-----end-----")

运行结果：

----start----
0开始执⾏,进程号为21466
1开始执⾏,进程号为21468
2开始执⾏,进程号为21467
0 执⾏完毕，耗时1.01
3开始执⾏,进程号为21466
2 执⾏完毕，耗时1.24
4开始执⾏,进程号为21467
3 执⾏完毕，耗时0.56
5开始执⾏,进程号为21466
1 执⾏完毕，耗时1.68
6开始执⾏,进程号为21468
4 执⾏完毕，耗时0.67
7开始执⾏,进程号为21467
5 执⾏完毕，耗时0.83
8开始执⾏,进程号为21466
6 执⾏完毕，耗时0.75
9开始执⾏,进程号为21468
7 执⾏完毕，耗时1.03
8 执⾏完毕，耗时1.05
9 执⾏完毕，耗时1.69

-----end-----

multiprocessing.Pool常⽤函数解析：
apply_async(func[, args[, kwds]]) ：使⽤⾮阻塞⽅式调⽤func（并⾏执⾏，堵塞⽅式必须等待上⼀个进程退出才能执⾏下⼀个进程），args为传递给func的参数列表，kwds为传递给func的关键字参数列表；
apply(func[, args[, kwds]])：使⽤阻塞⽅式调⽤func
close()：关闭Pool，使其不再接受新的任务；
terminate()：不管任务是否完成，⽴即终⽌；

join()：主进程阻塞，等待⼦进程的退出，必须在close或terminate之后使⽤；