关于golang:什么无限缓冲的队列一

10次阅读

共计 1900 个字符,预计需要花费 5 分钟才能阅读完成。

介绍

事件的起因是前几周看到鸟窝写了一篇对于实现有限缓冲 channel 的文章,过后忙着和小姐姐聊天没看,明天想起来了。

不过这篇文章不会波及到鸟窝本人实现的 chanx,咱们会在下一篇提到。

咱们都晓得,channel 有两种类型: 无缓冲和有缓冲的。

当咱们创立一个有缓冲的通道并指定了容量,那么在这个通道的生命周期内,咱们将再也无奈扭转它的容量。

有时候,咱们并不知道也无奈预估写入通道的数量规模。如果此时通道的写入速度远远超过读取速度,那么必然会在某个工夫点塞满通道,导致写入阻塞。
比方之前我翻译的一篇文章 应用 Go 每分钟解决百万申请 中,作者就呈现处理速度太慢,导致通道塞满,其余申请被阻塞,响应工夫缓缓减少。

此时有人就会提到,能不能提供一个有限缓冲 (Unbounded or Unlimited) 的通道。

这个问题早在 2017 年就有人提过 issues,最终 go 官网没有实现这个提案。

不过,这个 issues 上面总共产生了 67 个 comments,评论很精彩。

比方有人提到:

cznic:Unlimited capacity channels ask for a machine with unlimited memory.

rsc:The limited capacity of channels is an important source of backpressure in a set of communicating goroutines. It is typically a mistake to use an unbounded channel, because you lose that backpressure. If one goroutine falls sufficiently behind, you usually want to take some action in response, not just queue its messages forever. The appropriate response varies by situation: maybe you want to drop messages, maybe you want to keep summary messages, maybe you want to take different responses as the goroutine falls further and further behind. Making it trivial to reach for unbounded channels keeps developers from thinking about this, which I believe is a strong disadvantage.

那么如何实现一个有限缓冲的通道呢?

针对这类需要,有很多版本的实现,咱们来看其中的一个实现。鸟窝的 chanx 就是在这个根底上做批改的。

咱们一步步还原它的实现,这其中还能晓得作者的思考过程。

代码

第一版,

MakeInfinite 函数返回两个通道,第一个用于数据的写入,第二个用于数据的读取。

留神看这里的细节,在返回的时候就束缚了通道的操作类型: 一个只写,一个只读,这样防止了用户毁坏通道的操作流程。
这外面的代码也简略,只有写入通道 in 未被敞开,那么就把从 in 通道中读取的值 appendinQueue 切片中。
inQueue 在这里就是实现有限缓冲的中间层。

而后有个 test。

当走到第二个 case 的时候,因为 inQueue 一开始是空的,那么必然会呈现 index out
不仅是一开始,在运行中,如果读取比写入快,那么必然也会导致雷同的状况。


inQueue 没有值的时候,咱们把 nil 也写入到通道,
而后测试代码中咱们从 out channel 读取数值试图把值断言 int 失败了。那么,当队列中没有数据时,咱们不应该写入 out 通道。


作者应用了一个技巧,如果 inQueue 没有数据,那么尝试写入一个 nil 通道将永远阻塞。
通常,永恒阻塞是一个不好的行为,然而这个是蕴含在 select 语句中的,所以问题不大。

还有问题。起因很简略,咱们再发送完数据就马上敞开了 in 通道。随后 break loop。接下来敞开 out 通道,程序运行完结。
此时 inQueue 还有值未被取出。

只有写比读快,那么就永远存在这个问题。咱们须要保障在通道敞开的时候,inQueue 已为空。

总结

下面是如何实现一个有限缓冲的 channel

借助了一个长期存储数据的中间层。

下面的实现有没有哪些地方能够改良?

inQueue 作为中间层,实质上是一个切片。明明 inQueue 曾经扩容到很大的值了,然而并没有对应的 reset。会导致 inQueue 指向还在底层数组靠后的地位,并不能复用数组后面的空间,造成节约。

chanx 是咋么改良的?

下一篇

正文完
 0