乐趣区

关于后端:AutoMQ-社区双周精选第七期2024012920240209

本期概要

过来的两周里,社区贡献者 @lifepuzzlefun 为 AutoMQ 的 RocketMQ 我的项目优化了 LogCache 的二分查找性能,打消了不必要的 List 拷贝。

同时,AutoMQ 的骨干动静展现了继续的性能优化和性能加强。在 Kafka 我的项目中,团队设计了新型文件缓存机制,以反对小数据、重复读和二分查找跳读场景,同时优化了 WAL 复原速度,使 1GiB 数据恢复工夫大幅缩短。此外,Kafka 还新增了 Grafana 用户视图和开发者视图的大盘,以提供更全面的集群监控能力。

这些致力将独特推动 AutoMQ 向更高效、牢靠和易用的音讯队列服务迈进。

社区贡献者名单

本周新增社区贡献者:@lifepuzzlefun
https://github.com/AutoMQ/automq-for-rocketmq/pull/903
该 PR 优化了 LogCache 二分查找时额定的 List 拷贝

AutoMQ 骨干动静

事务索引和工夫戳索引文件缓存

https://github.com/AutoMQ/automq-for-kafka/pull/740
https://github.com/AutoMQ/automq-for-kafka/pull/743
https://github.com/AutoMQ/automq-for-kafka/pull/745

依据事务索引和工夫戳索引的查问特色,设计了更加适宜小数据、重复读和二分查找跳读的文件缓存:

  • 缓存空间限度在 200MB,不随着分区数量线性扩大;
  • 索引长久化的同时写入缓存,缓存的空间能够撑持到 S3Stream 的小 Object 合并成大 Object,使得 AutoMQ Kafka 维持高效索引查问效率;

    WAL 复原减速

    https://github.com/AutoMQ/automq-for-rocketmq/pull/910

通过 Buffer 读取机制,减速 WAL 的复原,1GiB 的数据恢复工夫从 92.7s 优化到 15.3s

Grafana 用户 & 开发者大盘

https://github.com/AutoMQ/automq-for-kafka/pull/778

新增了 Grafana 用户视图和开发者视图的大盘:

  • 在用户视图,用户能够概览整个集群的运行状况,而后依据需要下钻到 Broker 单机大盘、Topic 大盘和 Group 大盘;
  • 在开发者视图,开发者能够一览 Broker 的 CPU、JVM、申请吞吐 & 耗时和 S3Stream 外部的具体运行状况;

END

对于咱们

AutoMQ 是一家业余的音讯队列和流存储软件服务供应商。AutoMQ 开源的 AutoMQ Kafka 和 AutoMQ RocketMQ 基于云对 Apache Kafka、Apache RocketMQ 音讯引擎进行从新设计与实现,在充分利用云上的竞价实例、对象存储等服务的根底上,兑现了云设施的规模化红利,带来了下一代更稳固、高效的音讯引擎。此外,AutoMQ 推出的 RocketMQ Copilot 专家系统也从新定义了 RocketMQ 音讯运维的新范式,赋能音讯运维人员更好的治理音讯集群。

🌟 GitHub 地址:https://github.com/AutoMQ/automq-for-kafka

💻 官网:https://www.automq.com

👀 B 站:AutoMQ 官网账号

🔍 视频号:AutoMQ 

👉 扫二维码 退出咱们的社区群

关注咱们,一起学习更多云原生干货

退出移动版