topic是发布记录的类别或订阅源名称。 Kafka的topic总是多用户; 也就是说，一个主题可以有零个，一个或多个消费者订阅写入它的数据。

mq是个好东西，我们都在用。这也决定了mq应该是高高高可用的。某团就因为这个组件，出了好几次生产事故，呵呵。

关注有课学微信公众号，回复暗号 kafka 获取购买《Kafka核心技术与实战》极客时间专栏地址，购买成功后提交购买截图即可获得返现，另外送 《Kafka核心技术与实战》专栏学习笔记，待课程更新完成送统一通过微信公…

1.1安装模块 {代码…} 1.2基本使用 {代码…} 1.3简单封装 {代码…} 1.4引用来源 博客园:Python测试Kafka集群(pykafka) 知乎:使用生成器把Kafka写入效率提高1000倍

Kafka压缩 概括 需要理解kafka压缩则需要理解Kafka的存储格式. Kafka存储格式 RecordBatch {代码…} Record {代码…} Record Header {代码…} Note: 图片来源.推荐阅读该文章来更好的了解Kafka消息格式演变过…

Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。

Kafka内部为了协调内部的consumer和kafka connector的工作实现了一个复制协议， 主要工作分为两个步骤：

Kafka发送消息大小问题 ⚠️ 本文实验的Kafka版本为2.11版本. 消息概述 kafka中的消息指的就是一条ProducerRecord,里面除了携带发送的数据之外,还包含: topic 发往的Topic partition 发往的分区 headers 头信息 key…

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅…

在本地机器生产2000W条数据,单条数据中消息部分在40~50个字节左右. 大概耗时在2分钟多发送完场.代码如下