小伙伴们大家好,昨天的文章,带着大家扒开了Disruptor富丽的外衣,最重要的是咱们晓得了Disruptor高性能的起因几个重要的起因,
- 引入环形的数组构造:数组元素不会被回收,防止频繁的GC,
- 无锁的设计:采纳CAS无锁形式,保障线程的安全性
- 属性填充:通过增加额定的无用信息,防止伪共享问题
- 元素地位的定位:采纳跟一致性哈希一样的形式,一个索引,进行自增
这篇文章就在上篇文章的根底上来点实战利用。钻研下Disruptor的生产和生产模式,以及高级利用,至此对于Disruptor的系列的文章,也就到此结束了,我曾经尽力了,如果还有什么没能满足大家需要的,以及对于文章的内容大家有任何其余的认识的,也欢送在评论区留言,毕竟自己满腹经纶,期待各位大佬能给小弟指导一二。
前两篇文章在这里哦:
- 如此狂妄,自称高性能队列的Disruptor有啥来头?
- Disruptor测试后果运算1亿次,耗时5503ms,吞吐量18171000/s,于是我扒开了Disruptor高性能的外衣
生产和生产模式
依据下面的环形构造,咱们来具体分析一下Disruptor的工作原理。
Disruptor 不像传统的队列,分为一个队头指针和一个队尾指针,而是只有一个角标(下面的seq),那么这个是如何保障生产的音讯不会笼罩没有生产掉的音讯呢。
在Disruptor中生产者分为单生产者和多生产者,而消费者并没有辨别。
单生产者状况下,就是一般的生产者向RingBuffer中搁置数据,消费者获取最大可生产的地位,并进行生产。而多生产者时候,又多出了一个跟RingBuffer同样大小的Buffer,称为AvailableBuffer。
在多生产者中,每个生产者首先通过CAS竞争获取能够写的空间,而后再进行缓缓往里放数据,如果正好这个时候消费者要生产数据,那么每个消费者都须要获取最大可生产的下标,这个下标是在AvailableBuffer进行获取失去的最长间断的序列下标。
5.1 单生产者生产数据
生产者单线程写数据的流程比较简单:
- 申请写入m个元素;
- 若是有m个元素能够入,则返回最大的序列号。这儿次要判断是否会笼罩未读的元素;
- 若是返回的正确,则生产者开始写入元素。
5.2 多生产者生产数据
多个生产者的状况下,会遇到“如何避免多个线程反复写同一个元素”的问题。Disruptor的解决办法是,每个线程获取不同的一段数组空间进行操作。这个通过CAS很容易达到。只须要在调配元素的时候,通过CAS判断一下这段空间是否曾经调配进来即可。
然而会遇到一个新问题:如何避免读取的时候,读到还未写的元素。Disruptor在多个生产者的状况下,引入了一个与Ring Buffer大小雷同的buffer:available Buffer。当某个地位写入胜利的时候,便把availble Buffer相应的地位置位,标记为写入胜利。读取的时候,会遍历available Buffer,来判断元素是否曾经就绪。
5.3.1 生产流程
- 申请写入m个元素;
- 若是有m个元素能够写入,则返回最大的序列号。每个生产者会被调配一段独享的空间;
- 生产者写入元素,写入元素的同时设置available Buffer外面相应的地位,以标记本人哪些地位是曾经写入胜利的。
如下图所示,Writer1和Writer2两个线程写入数组,都申请可写的数组空间。Writer1被调配了下标3到下表5的空间,Writer2被调配了下标6到下标9的空间。
Writer1写入下标3地位的元素,同时把available Buffer相应地位置位,标记曾经写入胜利,往后移一位,开始写下标4地位的元素。Writer2同样的形式。最终都写入实现。
5.3.2 CAS检测空间占用
避免不同生产者对同一段空间写入的代码,如下所示:
通过do/while循环的条件cursor.compareAndSet(current, next),来判断每次申请的空间是否曾经被其余生产者占据。如果曾经被占据,该函数会返回失败,While循环从新执行,申请写入空间。
public long tryNext(int n) throws InsufficientCapacityException{ if (n < 1) { throw new IllegalArgumentException("n must be > 0"); } long current; long next; do { current = cursor.get(); next = current + n; if (!hasAvailableCapacity(gatingSequences, n, current)) { throw InsufficientCapacityException.INSTANCE; } } while (!cursor.compareAndSet(current, next)); return next;}
5.4 多生产者生产数据
绿色代表曾经写OK的数据
假如三个生产者在写中,还没有置位AvailableBuffer,那么消费者可获取的生产下标只能获取到6,而后等生产者都写OK后,告诉到消费者,消费者持续反复下面的步骤。
5.4.1 生产流程
- 申请读取到序号n;
- 若writer cursor >= n,这时依然无奈确定间断可读的最大下标。从reader cursor开始读取available Buffer,始终查到第一个不可用的元素,而后返回最大间断可读元素的地位;
- 消费者读取元素
如下图所示,读线程读到下标为2的元素,三个线程Writer1/Writer2/Writer3正在向RingBuffer相应地位写数据,写线程被调配到的最大元素下标是11。
读线程申请读取到下标从3到11的元素,判断writer cursor>=11。而后开始读取availableBuffer,从3开始,往后读取,发现下标为7的元素没有生产胜利,于是WaitFor(11)返回6。
而后,消费者读取下标从3到6共计4个元素。
6. 高级应用
6.1 并行模式
6.1.1 繁多写者模式
在并发零碎中进步性能最好的形式之一就是繁多写者准则,对Disruptor也是实用的。如果在你的代码中仅仅有一个事件生产者,那么能够设置为繁多生产者模式来进步零碎的性能。
public class singleProductorLongEventMain { public static void main(String[] args) throws Exception { //.....// Construct the Disruptor with a SingleProducerSequencer Disruptor<LongEvent> disruptor = new Disruptor(factory, bufferSize, ProducerType.SINGLE, // 繁多写者模式, executor);//..... } }
6.1.2 串行生产
比方:当初触发一个注册Event,须要有一个Handler来存储信息,一个Hanlder来发邮件等等。
/** * 串行顺次执行 * <br/> * p --> c11 --> c21 * @param disruptor */ public static void serial(Disruptor<LongEvent> disruptor){ disruptor.handleEventsWith(new C11EventHandler()).then(new C21EventHandler()); disruptor.start(); }
6.1.3 菱形形式执行
public static void diamond(Disruptor<LongEvent> disruptor){ disruptor.handleEventsWith(new C11EventHandler(),new C12EventHandler()).then(new C21EventHandler()); disruptor.start(); }
6.1.4 链式并行计算
public static void chain(Disruptor<LongEvent> disruptor){ disruptor.handleEventsWith(new C11EventHandler()).then(new C12EventHandler()); disruptor.handleEventsWith(new C21EventHandler()).then(new C22EventHandler()); disruptor.start(); }
6.1.5 互相隔离模式
public static void parallelWithPool(Disruptor<LongEvent> disruptor){ disruptor.handleEventsWithWorkerPool(new C11EventHandler(),new C11EventHandler()); disruptor.handleEventsWithWorkerPool(new C21EventHandler(),new C21EventHandler()); disruptor.start(); }
6.1.6 航道模式
/** * 串行顺次执行,同时C11,C21别离有2个实例 * <br/> * p --> c11 --> c21 * @param disruptor */ public static void serialWithPool(Disruptor<LongEvent> disruptor){ disruptor.handleEventsWithWorkerPool(new C11EventHandler(),new C11EventHandler()).then(new C21EventHandler(),new C21EventHandler()); disruptor.start(); }
本文参加了思否技术征文,欢送正在浏览的你也退出。
如果本文对您有帮忙,欢送
关注
和点赞
`,您的反对是我保持创作的能源。转载请注明出处!