乐趣区

关于数据库:KubeBlocks-060-发布KubeBlocks支持KafkaPulsar多款向量数据库MySQL读写分离啦

jiezi

KubeBlocks v0.6.0 版本正式公布了！

此版本引入了流计算引擎 Kafka、Pulsar 和向量数据库 Qdrant、Weaviate、Milvus，反对了 MySQL 读写拆散，晋升了交互式的参数治理体验。

Highlights

  • KubeBlocks 反对了 Kafka v3.3

    Kafka 是一款开源的分布式事件存储和流计算零碎，为数据管道、流式剖析、数据集成提供了极高的可靠性、吞吐量和极低的提早，被广泛应用于日志收集和指标监控场景。KubeBlocks 反对了 Kafka v3.3，该版本发表 KRaft 曾经满足生产环境要求，可能提供更好的分区可拓展性和弹性，节俭了 ZooKeeper 带来的额定老本。除此之外，KubeBlocks 还反对将 MySQL 和 PostgreSQL 的数据变更推送至 Kafka，不便用户进一步加工解决。

  • KubeBlocks 反对了 Pulsar v2.11

    Apache Pulsar 是一个开源的分布式消息传递和流解决平台。它旨在提供可扩展性、高性能和可靠性，以满足古代数据处理和实时消息传递的需要。KubeBlocks 反对了 Apache Pulsar v2.11，绝对于传统部署形式，KubeBlocks 可自动化实现故障转移、扩缩容等 day2 运维操作。

  • KubeBlocks 反对了 MySQL 读写拆散

    读写拆散旨在进步 MySQL 数据库集群的只读解决能力，将所有写入查问都将发送到主节点上，不批改数据的只读查问扩散到多个从节点上。读写拆散与 MySQL Raft Group 集群一起应用，它会自动检测主节点的变动，并应用集群以后的主节点来实现故障转移。通过设置 read_write_splitting_policy，在 global 或 session 级别关上读写拆散个性，默认策略为 LEAST_CURRENT_OPERATIONS，将只读查问路由到读查问沉闷操作起码的从节点。MySQL Raft Group 集群最大反对 5 个节点。

  • KubeBlocks 反对了风行的向量数据库治理

    生成式 AI 的火爆彻底点燃了向量数据库（Vector Database）市场，KubeBlocks 反对对向量数据库的一键拉起和管理控制。目前反对 Qdrant（v1.1.0），Weaviate（v1.18.0），以及 Milvus 的治理。

新性能

Pulsar

  • 集群生命周期治理和运维治理，反对创立 Pulsar 集群，删除集群、重启集群、横向扩容、纵向扩容、存储扩容、参数变更
  • 监控，反对 ZooKeeper、BookKeeper、Broker 的 CPU、内存、网络读写流量等性能监控

Kafka

  • 集群生命周期治理和运维治理，反对集群创立、删除、横向扩容、纵向扩容、存储扩容、参数变更

    • 横向扩容：combined 模式下 broker replica 反对 1,3,5 个正本；seperated 模式下, broker 反对 1 到 100，controller 反对 1,3,5
  • 监控，反对 Broker 的 CPU、内存、网络读写流量等性能监控

MySQL

  • 三节点集群反对 Switchover
  • 数据恢复，非覆盖性的按工夫点复原
  • 三节点集群反对 MySQL 读写拆散

  • 创立集群开启代理（Beta）

    • Vitess 代理默认规格能够满足用户绝大部分利用场景，Vitess 代理依据数据库节点以及节点规格的变动主动触发减少或缩小资源，无需用户抉择。Vitess 代理的 CPU 为集群中节点 CPU 总核数（三个节点）的 1/6 并向上取整，以 0.5c 为粒度，最小 0.5c，最大 64c。正本数量默认为 1，以后不反对批改正本数量
    • 连贯地址：代理有一个默认连贯地址，反对读写拆散。expose 命令反对为代理连贯地址生成 VPC 地址和公网地址
    • 反对设置 Vitess 代理读写拆散策略

PostgreSQL

  • 主备集群反对 Switchover
  • 反对 pgBouncer

MongoDB

  • MongoDB 正本集反对 Switchover
  • 数据恢复，非覆盖性的按工夫点复原

数据迁徙

  • 减少 kbcli migration 命令，包含创立迁徙工作、查看迁徙工作列表、查看迁徙工作详情、终止迁徙工作、查看日志、查看迁徙模板等性能。反对全量迁徙和增量同步
  • 反对 MySQL 数据迁徙，从 MySQL8.0 到 MySQL8.0
  • 反对 PostgreSQL 数据迁徙，从 PostgreSQL14 到 PostgreSQL14
  • 反对 MongoDB 数据迁徙，从 mongo5.x/6.0.x 到 mongo5.x/6.0.x

兼容性

  • 通过 Prometheus v2.41 – 2.45 兼容性测试，反对 Remote write 到 Prometheus server
  • kbcli 适配 Ubuntu 和 Amazon Linux 2 的包管理器
  • kbcli 适配 Windows PowerShell 和包管理器
  • kbcli playground 反对 Ubuntu 和 Amazon Linux 2 本地环境运行
  • kbcli playground 反对 Windows 本地环境运行

易用性

  • kbcli 反对用户通过操作系统本地编辑工具来批改 KubeBlocks 的参数
  • kbcli 反对故障注入 faultinject addon，反对多种故障模拟
  • kbcli 反对 report 命令打包集群上下文信息到压缩文件中用于问题辅助排查
  • kbcli 反对对 DB cluster 的配置信息进行交互式编辑。kbcli cluster create 命令反对应用 --edit 交互式编辑 YAML 文件，展现已创立集群内容
  • 反对勾销运行中的 Hscale/Vscale OpsRequest
  • 减少 kbcli playground Grafana 概览页面
  • Kbcli alert 设置邮件服务器
  • 反对初始化创立数据库和用户 相干文档
  • KB 装置时可指定配置文件，
  • MySQL、PostgreSQL、MongoDB 反对磁盘满锁：数据库存储空间行将满时（磁盘使用率超过 90%），将数据库设置为只读状态

备份复原

  • 备份存储仓库（backupRepo）是指备份文件寄存的指标门路，KB 反对公共云对象存储以及 S3 兼容的对象存储
  • 复原新集群时反对批改集群配置
  • 查看备份详情 describe-backup

可观测性

  • 反对与 Promtheus, VictorialMetrics, AMP 内部监控零碎的数据集成，集群性能监控指标通过 remote write 形式输入到指标监控零碎
  • K8s / KB 集群的操作日志实时转储至对象存储，依照工夫和大小两个条件进行切分，并提供只读地址
  • K8s / KB 集群的异样日志实时转储至对象存储，依照工夫和大小两个条件进行切分，并提供只读地址

有没有你感觉还不错的性能呢？快来尝试下吧。

当然，研发同学很使劲，这些变动依然不是全副，本文只摘取 局部性能更新，欢送大家到 GitHub 查看全副更新内容。

同时，小猿姐也诚邀各位体验 KubeBlocks，欢迎您成为产品的使用者和我的项目的贡献者。跟咱们一起构建云原生数据基础设施吧！

💻 官网：www.kubeblocks.io

🌟 GitHub: https://github.com/apecloud/kubeblocks

关注小猿姐，一起学习更多云原生技术干货。

退出移动版