概述
本文通过运行一段Python小程序，模仿一个实在的工作。比拟在多线程（Multi-thread）和在多协程（Coroutine）环境下的编程实现。发现和解释一些乏味的景象。以期为大家带来一些对协程的直观感触，加深对这种陈腐事物的了解。
Python中的协程
协程（coroutine）是一个有很长历史的概念，它是计算机程序的一类组件，推广了合作式多任务的子程序。其具体的概念和历史请参照维基百科中的条目：https://en.wikipedia.org/wiki...
Python天生反对的生成器(generator)其实就是协程的一种实现，生成器容许执行被挂起与被复原。然而因为不足更多语法上的反对，以及不足利用生成器实现异步编程的成熟模式，限度了生成器作为协程参加合作式多任务编程的用处。不过当初状况产生的扭转，Python自3.6版本开始增加了async/await的语法间接反对协程的异步编程，同时在asyncio库中提供了协程编程的接口以及必要的根底实现。社区也在一直致力为现有的IO库提供异步的版本以便用于协程开发环境，例如http client目前至多在aiohttp以及tornado中都提供了可用于协程的异步版本。咱们晓得IO操作天生是异步的，为了适应广泛应用的同步编程模式，很多的IO库都采纳阻塞调用者的形式来实现同步。这样尽管简化了编程，可也带来的并行度不高的问题。在一些有大量耗时IO操作的环境里，利用不得不忍耐串行操作造成的漫长期待，或是转向多过程（Multi-Process）多线程编程以期进步并行水平。而多过程多线程编程又会引入争用、通信，同步、爱护等辣手的问题。而且咱们晓得即便是作为轻量级的线程也会对应一个独立的运行栈。线程的调度和切换不可避免地包含运行栈的切换和加载。如果在一个过程中有成千盈百的线程，那么相应的调度开销会急剧回升到难以忍受的水平。而且线程之间的同步和互锁也将成为一个噩梦。除去boss级别的死锁问题，其余任何的bug或是缺点在多线程环境下都难于重现和追踪，这是因为线程的调度有很大的随机性。
一个Python小程序
上面是一个Python的小程序，能够在Python3.8或者更新的版本上运行。
import threadingimport timeimport asynciodef gen(): s = 0 while s < 1000: yield s s += 1def unsafe_thread_worker(g): t = 0 try: while True: v = next(g) time.sleep(0.01) t += v except StopIteration: print(f" {t} ")async def wrong_coroutine_worker(g): t = 0 try: while True: v = next(g) time.sleep(0.01) t += v except StopIteration: print(f" {t} ") async def starter_with_wrong_workers(): tasks = [] for _ in range(10): task = asyncio.create_task(wrong_coroutine_worker(g)) tasks.append(task) await asyncio.gather(*tasks) async def right_coroutine_worker(g): t = 0 try: while True: v = next(g) await asyncio.sleep(0.01) t += v except StopIteration: print(f" {t} ") async def starter_with_right_workers(): tasks = [] for _ in range(10): task = asyncio.create_task(right_coroutine_worker(g)) tasks.append(task) await asyncio.gather(*tasks)if __name__ == '__main__': print('----------------- Sequence -----------------') g = gen() started_at = time.monotonic() t = 0 for v in g: time.sleep(0.01) t += v print(t) total_time = time.monotonic() - started_at print(f'total time consumed: {total_time:.2f} seconds') print('----------------- Unsafe threading -----------------') g = gen() started_at = time.monotonic() threads =[] for _ in range(10): w = threading.Thread(target=unsafe_thread_worker, args=[g]) w.start() threads.append(w) for w in threads: w.join() total_time = time.monotonic() - started_at print(f'total time consumed: {total_time:.2f} seconds') print('----------------- Async with wrong coroutine -----------------') g = gen() started_at = time.monotonic() loop = asyncio.get_event_loop() loop.run_until_complete(starter_with_wrong_workers()) total_time = time.monotonic() - started_at print(f'total time consumed: {total_time:.2f} seconds') print('----------------- Async with right coroutine -----------------') g = gen() started_at = time.monotonic() loop = asyncio.get_event_loop() loop.run_until_complete(starter_with_right_workers()) total_time = time.monotonic() - started_at print(f'total time consumed: {total_time:.2f} seconds')一个典型的运行输入看起来像是这个样子的：
----------------- Sequence -----------------499500total time consumed: 10.53 seconds----------------- Unsafe threading ----------------- 49804 49609 50033 49682 49574 50005 50143 50069 50219 50362 total time consumed: 1.09 seconds----------------- Async with wrong coroutine ----------------- 499500 0 0 0 0 0 0 0 0 0 total time consumed: 10.55 seconds----------------- Async with right coroutine ----------------- 49500 49967 49973 50100 49965 50000 49968 49963 49964 50100 total time consumed: 1.16 seconds这个小程序实际上模仿了一个常见的实在工作。构想咱们通过一个http的数据API一页一页地获取一个比拟大地数据集。每页数据通过一个带有页号或是起始地位的URL予以标识，而后通过向API服务器发送一个http request，并解析返回的http response中所蕴含的数据。其中的http拜访显然是一个耗时的IO操作。返回数据的解析和解决是一个计算密集型的操作，相比IO期待，其耗费的工夫不值一提。那个生成器gen能够看作是一个数据页面URL的生成器，也就是工作生成器。而后咱们应用sleep来模仿一个耗时的IO操作，应用加法来模仿数据的合并与剖析。你也能够把这个小程序设想成为一个网络爬虫，咱们在一个全局的列表里保留了所有指标网站的地址，而后或串行或并行地拜访所有地指标，取回咱们感兴趣的数据存储并合并剖析。
总之，咱们有1000个比拟独立的小工作，每个工作有一个耗时0.01秒的IO操作。