本期概要
过来的两周里,社区贡献者 @lifepuzzlefun 为 AutoMQ 的 RocketMQ 我的项目优化了 LogCache 的二分查找性能,打消了不必要的 List 拷贝。
同时,AutoMQ 的骨干动静展现了继续的性能优化和性能加强。在 Kafka 我的项目中,团队设计了新型文件缓存机制,以反对小数据、重复读和二分查找跳读场景,同时优化了 WAL 复原速度,使 1GiB 数据恢复工夫大幅缩短。此外,Kafka 还新增了 Grafana 用户视图和开发者视图的大盘,以提供更全面的集群监控能力。
这些致力将独特推动 AutoMQ 向更高效、牢靠和易用的音讯队列服务迈进。
社区贡献者名单
本周新增社区贡献者:@lifepuzzlefun
https://github.com/AutoMQ/automq-for-rocketmq/pull/903
该 PR 优化了 LogCache 二分查找时额定的 List 拷贝
AutoMQ 骨干动静
事务索引和工夫戳索引文件缓存
https://github.com/AutoMQ/automq-for-kafka/pull/740
https://github.com/AutoMQ/automq-for-kafka/pull/743
https://github.com/AutoMQ/automq-for-kafka/pull/745
依据事务索引和工夫戳索引的查问特色,设计了更加适宜小数据、重复读和二分查找跳读的文件缓存:
- 缓存空间限度在 200MB,不随着分区数量线性扩大;
-
索引长久化的同时写入缓存,缓存的空间能够撑持到 S3Stream 的小 Object 合并成大 Object,使得 AutoMQ Kafka 维持高效索引查问效率;
WAL 复原减速
https://github.com/AutoMQ/automq-for-rocketmq/pull/910
通过 Buffer 读取机制,减速 WAL 的复原,1GiB 的数据恢复工夫从 92.7s 优化到 15.3s
Grafana 用户 & 开发者大盘
https://github.com/AutoMQ/automq-for-kafka/pull/778
新增了 Grafana 用户视图和开发者视图的大盘:
- 在用户视图,用户能够概览整个集群的运行状况,而后依据需要下钻到 Broker 单机大盘、Topic 大盘和 Group 大盘;
- 在开发者视图,开发者能够一览 Broker 的 CPU、JVM、申请吞吐 & 耗时和 S3Stream 外部的具体运行状况;
END
对于咱们
AutoMQ 是一家业余的音讯队列和流存储软件服务供应商。AutoMQ 开源的 AutoMQ Kafka 和 AutoMQ RocketMQ 基于云对 Apache Kafka、Apache RocketMQ 音讯引擎进行从新设计与实现,在充分利用云上的竞价实例、对象存储等服务的根底上,兑现了云设施的规模化红利,带来了下一代更稳固、高效的音讯引擎。此外,AutoMQ 推出的 RocketMQ Copilot 专家系统也从新定义了 RocketMQ 音讯运维的新范式,赋能音讯运维人员更好的治理音讯集群。
🌟 GitHub 地址:https://github.com/AutoMQ/automq-for-kafka
💻 官网:https://www.automq.com
👀 B 站:AutoMQ 官网账号
🔍 视频号:AutoMQ
👉 扫二维码 退出咱们的社区群
关注咱们,一起学习更多云原生干货