共计 3680 个字符,预计需要花费 10 分钟才能阅读完成。
yield 是 python 的一个关键字,刚接触 python 的时候对这个关键字一知半解,掌握之后才发现这关键字有大用,本文将对 yield 的使用方法好好梳理一番。
1 使用 yield 创建生成器
在 python 中,生成器是一种可迭代对象,但可迭代对象不一定是生成器。例如,list 就是一个可迭代对象
>>> a = list(range(3))
>>> for i in a:
print(i)
0
1
2
3
但是一个 list 对象所有的值都是放在内存中的,如果数据量非常大的话,内存就有可能不够用;这种情况下,就可以生成器,例如,python 可以用“()”构建生成器对象:
>>> b = (x for x in range(3))
>>> for i in b:
print(i)
0
1
2
>>> for i in b:
print(i)
>>>
生成器可以迭代的,并且数据实时生成,不会全部保存在内存中;值得注意的是,生成器只能读取一次,从上面的运行结果可以看到,第二次 for 循环输出的结果为空。
在实际编程中,如果一个函数需要产生一段序列化的数据,最简单的方法是将所有结果都放在一个 list 里返回,如果数据量很大的话,应该考虑用生成器来改写直接返回列表的函数(Effective Python, Item 16).
>>> def get_generator():
for i in range(3):
print(‘gen ‘, i)
yield i
>>> c = get_generator()
>>> c = get_generator()
>>> for i in c:
print(i)
gen 0
0
gen 1
1
gen 2
2
由上面的代码可以看出,当调用 get_generator 函数时,并不会执行函数内部的代码,而是返回了一个迭代器对象,在用 for 循环进行迭代的时候,函数中的代码才会被执行。除了使用 for 循环获得生成器返回的值,还可以使用 next 和 send
>>> c = get_generator()
>>> print(next(c))
gen 0
0
>>> print(next(c))
gen 1
1
>>> print(next(c))
gen 2
2
>>> print(next(c))
Traceback (most recent call last):
File “<pyshell#59>”, line 1, in <module>
print(next(c))
StopIteration
>>> c = get_generator()
>>> c.send(None)
gen 0
0
>>> c.send(None)
gen 1
1
>>> c.send(None)
gen 2
2
>>> c.send(None)
Traceback (most recent call last):
File “<pyshell#66>”, line 1, in <module>
c.send(None)
StopIteration
生成器的结果读取完后,会产生一个 StopIteration 的异常
2 coroutines 中使用
yield 一个常见的使用场景是通过 yield 来实现协程,已下面这个生产者消费者模型为例:
# import logging
# import contextlib
# def foobar():
# logging.debug(‘Some debug data’)
# logging.error(‘Some error data’)
# logging.debug(‘More debug data’)
# @contextlib.contextmanager
# def debug_logging(level):
# logger = logging.getLogger()
# old_level = logger.getEffectiveLevel()
# logger.setLevel(level)
# try:
# yield
# finally:
# logger.setLevel(old_level)
# with debug_logging(logging.DEBUG):
# print(‘inside context’)
# foobar()
# print(‘outside context’)
# foobar()
def consumer():
r = ‘yield’
while True:
print(‘[CONSUMER] r is %s…’ % r)
#当下边语句执行时,先执行 yield r,然后 consumer 暂停,此时赋值运算还未进行
#等到 producer 调用 send() 时,send() 的参数作为 yield r 表达式的值赋给等号左边
n = yield r #yield 表达式可以接收 send() 发出的参数
if not n:
return # 这里会 raise 一个 StopIteration
print(‘[CONSUMER] Consuming %s…’ % n)
r = ‘200 OK’
def produce(c):
c.send(None)
n = 0
while n < 5:
n = n + 1
print(‘[PRODUCER] Producing %s…’ % n)
r = c.send(n) #调用 consumer 生成器
print(‘[PRODUCER] Consumer return: %s’ % r)
c.send(None)
c.close()
c = consumer()
produce(c)
[CONSUMER] r is yield…
[PRODUCER] Producing 1…
[CONSUMER] Consuming 1…
[CONSUMER] r is 200 OK…
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 2…
[CONSUMER] Consuming 2…
[CONSUMER] r is 200 OK…
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 3…
[CONSUMER] Consuming 3…
[CONSUMER] r is 200 OK…
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 4…
[CONSUMER] Consuming 4…
[CONSUMER] r is 200 OK…
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 5…
[CONSUMER] Consuming 5…
[CONSUMER] r is 200 OK…
[PRODUCER] Consumer return: 200 OK
Traceback (most recent call last):
File “.\foobar.py”, line 51, in <module>
produce(c)
File “.\foobar.py”, line 47, in produce
c.send(None)
StopIteration
在上面的例子中可以看到,yield 表达式与 send 配合,可以起到交换数据的效果,
n = yield r
r = c.send(n)
3 contextmanager 中使用
另外一个比较有意思的使用场景是在 contextmanager 中,如下:
import logging
import contextlib
def foobar():
logging.debug(‘Some debug data’)
logging.error(‘Some error data’)
logging.debug(‘More debug data’)
@contextlib.contextmanager
def debug_logging(level):
logger = logging.getLogger()
old_level = logger.getEffectiveLevel()
logger.setLevel(level)
try:
yield #这里表示 with 块中的语句
finally:
logger.setLevel(old_level)
with debug_logging(logging.DEBUG):
print(‘inside context’)
foobar()
print(‘outside context’)
foobar()
inside context
DEBUG:root:Some debug data
ERROR:root:Some error data
DEBUG:root:More debug data
outside context
ERROR:root:Some error data
在上面的代码中,通过使用上下文管理器(contextmanager)来临时提升了日志的等级,yield 表示 with 块中的语句;
总结
yield 表达式可以创建生成器,应该考虑使用生成器来改写直接返回 list 的函数;
由于生成器只能读取一次,因此使用 for 循环遍历的时候要格外注意;生成器读取完后继续读的话会 raise 一个 StopIteration 的异常,实际编程中可以使用这个异常来作为读取终止的判断依据;
yield 一个常见的使用场景是实现协程;通过与 send 函数的配合,可以起到交换数据的效果;
yield 还可以在 contextmanager 修饰的函数中表示 with 块中的语句;