docker安装使用kafka 收集整理而来，学习kafka时使用 使用时请注意开放相关端口，将脚本中IP改成自己的 使用Kafka需要安装zk 镜像 如需定制请在镜像的docker hub官网上参考使用文档 {代码…} 启动 {代码…} {代码…} 创建topic {代码…} 创建生产者 {代码…} 创建消费者 另起一个ssh窗口进入容器 {代码…} 测试 在…

线上某服务 A 调用服务 B 接口完成一次交易，一次晚上的生产变更之后，系统监控发现服务 B 接口频繁超时，后续甚至返回线程池耗尽错误 Thread pool is EXHAUSTED。因为服务 B 依赖外部接口，刚开始误以为外部接口延时导致，所以临时增加服务 B dubbo 线程池线程数量。配置变更之后，重启服务，服务恢复正常。一段时间之…

kakfa 集群部署 准备工作 jre 安装 zookeeper 单机集群搭建 假设当前目录为 /home/zk.配置3节点伪集群. 下载 {代码…} 创建zookeeper data目录 {代码…} 修改配置文件 {代码…} 启动 {代码…} kafka 单机集群搭建 假设当前目录为 /home/kfk 下载 {代码…} 创建日志目录 {代码…} 修改配置文件 {代码…} 启动 {代…

kafka 简介 定义 kafka 是一个分布式的数据流平台 数据流平台有3个关键特性： 发布订阅记录流(streams of records)，类似于消息队列或企业级的消息传递系统 以容错的持久化方式存储记录流 当记录流产生时，进行相应处理 kafka 通常用于两大类应用： 构建用于系统和应用间可靠的获取数据的实时数据流管道 构建转换或响应…

定义topic ：主题名，用于对消息进行分类，是一个逻辑上的概念 partition ：是物理上的一个概念，一个topic可以对应多个partition，消息实际存储在partition partition 是一个有序，不可变的记录序列。partition中的每一条消息都有一个序列号，称之为offset,offset 在一个partition内唯一，用于区别消息 segment ：parti…

创建topic bin/kafka-topics.sh –create –bootstrap-server localhost:9092 –replication-factor 3 –partitions 1 –topic my-replicated-topic –config message.timestamp.type=CreateTime –config 可以指定topic的配置，message.timestamp.type 指定topic的时间戳使用方式，其他配置见 [链接]

即使了解了kafka的概念，也无法阻挡测试同事的不断追问。例如kafka消息这么多，我怎么测试啊；消息到底有没有发到kafka，怎么看；kafka磁盘写满了，怎么办；我太难了。。????????????

一、参考 Apache Kafka实战 二、快速入门 2.1 安装启动 {代码…} 2.2 创建topic {代码…} 2.3 发送消息 指定topic后，发送、接收消息 三、消息引擎系统

项目里使用了kafka和spark作消息的流式处理，但是我对kafka一窍不通。每次测试找我kafka都是傻坐着，主管让我花时间学习kafka。

开篇一张图，读者更幸福，不多说上架构图。这个架构图我们在前面一篇文章《kafka生产者的蓄水池机制》里面介绍过，上一篇我们是介绍了这个图里面的消息收集过程（我们成为“蓄水池”机制），这里我们就介绍它的另外…