关于前端:Python多进程进程池的开启和多进程操作同一个List

37次阅读

共计 1999 个字符,预计需要花费 5 分钟才能阅读完成。

为什么要应用多过程
指标网站数据量多,想赶时间多获取点货色?
数据库大批量的数据须要操作?
单纯的想要节省时间,早早上班?
…………
必定会有人说【多线程】。Python 的多线程为了数据安全设置了 GIL 全局解释器锁,而 Python 的多线程是靠并发的形式实现的,即 Python 只会在一个过程里永远执行一个线程。
这就导致 Python 多线程的多线程效率低下。举个例子,这就相当于一个人在左右横跳的吃两包薯片。只不过这个人啊,他速度很快,只有左右横跳的速度足够快,他的残影就像两个人再吃薯片一样。【累不累啊】
所以说你罗唆再拉集体跟你一起吃薯片得了。【薯片那么好吃,下次换个例子】

怎么应用多过程
这里重点说的时线程池 Pool,Process 按下不表,因为 Process 时动静生成过程,Pool 显然比 Process 弱小得多。
实现多过程的办法就是应用 Python 中的 multiprocessing 的包。
import multiprocessing as mp
这里就简写一下吧,包名也太长了。

1.pool = mp.Pool(processes=4)  
2.for i in range(4):  
3.    pool.apply_async(办法, (参数,))  
4.pool.close()  
5.pool.join() 

其中的 process= 4 是创立线程池的最大值是 4,pool 的 apply_async 办法来创立子过程。其中 apply_async 的办法参数是不带括号 () 的。带括号是对函数的调用。apply_async 传的是 target 参数。

多过程独特操作 List
过程之间的数据操作是独立的。如果你想把每个过程产生的后果寄存在同一个 list,须要用到 multiprocessing 中的 Manager 办法:

1.def __init__(self):  
2.    self.manager = mp.Manager  
3.    self.reslist = self.manager().list()  

这样创立 list,无论是读取,都能够进行多过程同时操作。如果用本地 IP 始终去申请的话,会有 IP 封闭的可能性呈现,导致无奈失常获取。所以,须要高效申请的话,优质稳固的代理 IP 必不可少,我这里应用的 ipidea 代理。
地址:http://www.ipidea.net/,首次能够白嫖流量哦。

举个例子
上面举一个 ABCD 四个打工人独特解决一个问题的状况:

1.import multiprocessing as mp  
2.from loguru import logger  
3.   
4.class work():  
5.   
6.    def __init__(self):  
7.        self.manager = mp.Manager  
8.        self.works = self.manager().list()  
9.        self.members = ["A","B","C","D"]  
10.   
11.    def create_works(self):  
12.        for i in range(1000):  
13.            self.works.append(i)  
14.   
15.    def finish_works(self,who):  
16.        while len(self.works) > 0:  
17.            finish = self.works.pop()  
18.            logger.info(f'{who}实现了{finish}')  
19.   
20.    def start(self):  
21.        self.create_works()  
22.        pool = mp.Pool(processes=4)  
23.        for i,member in enumerate(self.members):  
24.            pool.apply_async(self.finish_works, (member,))  
25.        pool.close()  
26.        pool.join()  
27.   
28.if __name__ == '__main__':  
29.    work().start()  

实现了四个人同时解决工作,效率也会晋升很多。

总结
目前 Python 晋升效率,就是并行跟并发。然而受限于 Python 的语言环境,多过程的效率会比多线程 Thread 好上一些。总之抉择好本人的办法,适合的状况下正当的应用并行或者并发,对代码解决的晋升会有很大的帮忙。

正文完
 0