大家好，我是 kafka, 可能很多人都据说过我，晓得我是 2011 年出世在 LinkedIn 的, 从那会儿到当初我的性能越发弱小了。作为一个优良而又残缺的平台，你能够在我下面冗余地存储微小的数据量，我有一个具备高吞吐量 (数百万 / 秒) 的音讯总线，你能够在这上面对通过我的数据进行实时流解决。如果你认为我就只有下面的这些…

原理至关重要，面试的时候不可能问你命令的，都是问原理，懂了原理线上如果应用kafka出了问题才可能疾速定位，而不是一脸蒙圈。必须要明确原理，如果不说原理间接实战，就真成搬砖了。

【摘要】 Kafka工夫轮是Kafka实现高效的延时工作的根底，它模仿了现实生活中的钟表对工夫的示意形式，同时，工夫轮的形式并不仅限于Kafka，它是一种通用的工夫示意形式，本文次要介绍Kafka中的工夫轮原理。

Kafka个性之一是它的复制协定。复制协定是保障kafka高可靠性的要害。对于单个集群中每个Broker不同工作负载状况下，如何主动调优Kafka正本的工作形式是比拟有挑战的。它的挑战之一是要晓得如何防止follower进入和退出同步正本列表(即ISR)。从用户的角度来看，如果生产者发送一大批海量音讯，可能会引起Kafka Broker很多…

主题(Topic)或称音讯队列，是您在Kafka中数据的寄存地位。主题的数据进一步分为多个分区(Partition)。每个分区都是有序的，不可变的记录序列，这些记录间断地附加到结构化的提交日志中。

kafka 的索引文件以稠密索引的形式结构音讯的索引，每个 segmentfault 文件，对应 2 个索引文件。偏移量索引文件(xx.index)用于建设音讯偏移量到物理地址之间的映射关系；工夫戳索引文件(xx.timeindex)依据指定的工夫戳查找对应的偏移量信息。

1、日志文件布局__consumer_offset 存储着消费者提交的生产位移2、日志存储格局V0音讯格局offset:每一条音讯都有一个 offset 用来标记它在分区中的偏移量，offset 是逻辑值，而非理论物理偏移量message_size:示意音讯的大小crc32(4B):crc32 校验值。校验范畴为 magic 至 value 之间magic(1B):音讯格局版本号，V0 固定为 …

本专访对 StreamNative 联结创始人兼CTO、Apache Pulsar PMC 翟佳的采访内容。在本采访中，次要介绍了 Apache Pulsar 作为云原生流数据工具在音讯解决畛域的劣势个性、与 Kafka 的一些比照概要以及 StreamNative 公司的介绍和倒退方向。

上次跟大家分享的文章「Kafka Producer 异步发送音讯竟然也会阻塞？」中提到了缓冲池，前面再通过一番浏览源码后，发现了这个缓冲池设计的很棒，被它的设计思维优雅到了，所以忍不住跟大家持续分享一波。

近段时间学习极客工夫李玥老师的后端存储实战课时，看到一个很多意思的货色：用kafka存储点击流的数据，并反复解决。在以往的应用中，kafka只是一个音讯传输的载体，音讯被生产后就不能再次生产。新常识与印象相冲突，于是就有了本篇文章：kafka数据如何被反复生产。