关于数据库:StarRocks-23-新版本特性介绍

各位 StarRocks 的新老用户：
StarRocks 近期公布了 2.3 版本，外围更新有：主键模型反对残缺的 DELETE WHERE 语句，异步执行 CTAS，资源组的大查问进攻，资源组的监控，JDBC 表面，数据目录 Catalog，集群部署与管理工具 StarGo 等。

欢送体验新版本性能，若喜爱咱们的我的项目，大家能够在 GitHub 上 Star 一下✨ 体验地址：https://github.com/StarRocks/…

以下是具体介绍，欢迎您降级应用、多多反馈！

01

StarRocks 2.3 版本介绍

—

StarRocks 是新一代极速全场景 MPP 数据库，致力于让用户无需通过简单的预处理，就能够反对多种数据分析场景的极速剖析。StarRocks 置信数据迷信的翻新将全面驱动业务倒退，心愿能帮忙企业建设“极速对立”的数据分析新范式，助力企业全面数字化经营。

2.3 版本是 StarRocks 稳定性和易用性大幅补强的一个版本：Primary Key 模型反对长久化主键索引，能够正当管制内存应用，同时通过欠缺 Delete 语法，能够反对简单逻辑的删除操作。数据湖剖析反对 External Catalog，能够大幅升高用户应用表面的门槛。JDBC 表面能够帮忙用户不便的连贯各类 TP 数据库。此外，资源组治理和运维部署工具也做了诸多改良。

02

StarRocks 2.3 新增性能详解

—

1、主键模型反对残缺 DELETE WHERE 语义

从 2.3 版本开始，StarRocks 对于主键数据模型（Primary Key）反对残缺的 DELETE 语法：WHERE 条件反对残缺的比拟运算符 (=、>、!= 等) 和逻辑运算符 (AND、OR)，并且齐全反对用子查问来进行过滤删除。有了残缺的 DELETE WHERE 反对后，用户能够更加不便地间接应用 SQL 命令实现带有简单逻辑的数据删除操作，从而反对更加丰盛的更新需要。

2、异步执行 CTAS

在 Apache Spark 生态中，局部场景下用户须要通过异步的形式，提交大批量的数据分析解决作业，并依据作业的惟一标志符来实时查看作业的进度或者最终后果。针对这一场景，在 StarRocks 中，咱们提供了如下的异步查问能力：通过工作提交框架，以异步的形式提交一个 CREATE TABLE AS SELECT 工作，将查问后果写入一张新的表；并通过创立工作时指定的惟一标识符来查看工作的执行停顿。借助这种异步模式，用户在执行大批量数据分析解决工作时候无需同步期待执行后果，进一步晋升开发体验。

3、资源组的大查问进攻

自 2.2 版本起，StarRocks 提供了资源隔离性能，通过设置资源组的形式限度查问对资源的耗费，实现多租户之间的资源隔离与正当利用。在此基础上，从 2.3 版本起，用户可进一步管制大查问对资源的耗费，防止系统资源耗尽对稳定性产生影响。

具体来说：用户指定资源组当中可能运行查问的扫描行数 / 内存大小 /CPU 运行工夫的下限。对超过阈值下限的查问，零碎会对其进行拦挡并终止执行。借助此能力，如果用户侧的异样查问负载能够通过 扫描行数 / 内存大小 / CPU 运行工夫等维度组合来进行表征，那么用户就能够自行依照业务需要来拦挡，从而保证系统整体负载的稳固。

4、JDBC 表面

StarRocks 在 2.3 版本提供了 JDBC 表面。用户能够借助 JDBC 表面在 StarRocks 中间接进行查问

MySQL、PostgreSQL、Oracle、ClickHouse 等数据源，并且无需迁徙数据。此外，在查问过程中，通过算子下推能力提供了查问性能优化。借助 JDBC 表面，用户能够更加轻松的将 StarRocks 打造为数据生态中的对立查问入口，并拓展更加丰盛的联结查问能力。

5、数据目录 Catalog

一方面，StarRocks 为了更好地撑持湖仓一体的治理场景，面向外部数据和内部数据带来对立治理和轻松拜访的用户体验，提供了内部数据目录（External Catalog）性能：通过内部数据目录来绑定某个数据源后，用户无需创立表面即可间接剖析其中的数据（例如 Apache Hive 等）；另一方面，咱们在实现各类数据源的 Catalog 时，应用了从新形象的代码框架（Datasource Connector），为后续社区开发者针对各类数据源进行接入时提供了更加轻松的开发体验。

相比于原表面的应用形式，用户无需手动配置表名以及构造信息，大幅度简化了数据接入老本；同时数据目录能够让仓中数据（StarRocks）和湖中数据（如 Apache Hive 等）的拜访治理一体化，应用更加便捷。

6、集群部署与管理工具 StarGo

在 2.3 版本之前，对于 StarRocks 社区版用户，只能通过手动的形式部署和治理集群，这带来了如下痛点：1）用户须要登录不同的服务器来治理多个 StarRocks 实例；2）在保护多套集群时，咱们须要通过手工记录的形式来保护集群与机器的关系。

StarGo 是 StarRocks 社区孵化的多集群管理工具，从 2.3 版本开始以开源形式公布了预览版，帮忙用户在中控机上治理保护不同的 StarRocks 集群。StarGo 应用 Golang 编写，不依赖于其余的组件，无需装置，下载解压即可用。在 StarGo 中，用户应用命令行 + 配置文件的应用模式，即可疾速实现集群的部署、启动、进行、销毁、弹性扩缩容、降级以及治理 StarRocks 集群参数。

7、其余个性与优化 !

• 默认开启 Pipeline 执行引擎
• 主键模型反对长久化主键索引，防止主键索引占用过大内存空间
• 全局低基数字典优化反对实时数据导入，实时场景下低基数的字符串类型数据的查问性能晋升一倍
• 优化 Compaction 机制，对较大的元数据进行 Compaction 操作，防止因数据高频更新而导致短时间内元数据挤压、占用较多磁盘空间
• 优化导入 Parquet 文件和压缩文件格式的性能
• 优化创立物化视图的性能，在局部场景下创立速度晋升近 10 倍
• 反对监控资源组，可在审计日志中查看查问所属的资源组，并通过相干 API 获取资源组的监控信息
• Apache Iceberg 表面性能，创立 Iceberg 资源时反对应用自定义 Catalog
• ElasticSearch 表面性能，反对勾销探测 ElasticSearch 集群数据节点的地址
• 当 sum() 中输出的值为 String 类型且为数字时，则主动进行隐式转换
• year、month、day 函数反对 DATE 数据类型

• 新增如下函数：

  • window_funnel
  • ntile
  • bitmap_union_count、array_to_bitmap、base64_to_bitmap
  • time_slice
• week 函数欠缺
• 反对在 AWS 上应用 CloudFormation 疾速创立 StarRocks 集群

在这个版本中，91 位贡献者共提交 787 个 Commits，感激他们：
@stdpain,@HangyuanLiu,@zhuxt2015,@decster,@stephen-shelby,@sevev,@trueeyu,@DorianZheng,@Linkerist,@Astralidea,@Youngwb,@xiaoyong-z,@mofeiatwork,@ZiheLiu,@Seaven,@rickif,@kangkaisen,@liuyehcf,@gengjun-git,@meegoo,@waittttting,@harui7890,@imay,@xlwh,@hongli-my,@wyb,@sduzh,@satanson,@caneGuy,@dirtysalt,@Pslydhh,@blackstar-baba,@silverbullet233,@RowenWoo,@zombee0,@mxdzs0612,@ABingHuang,@adzfolc,@mchades,@even986025158,@padmejin,@chen9t,@choury,@hiliuxg,@sym-liuyang,@chaoyli,@abc982627271,@MonsterChenzhuo,@xuzifu666,@wangxiaobaidu11,@only2yangcao,@miomiocat,@happut,@aaawuanjun,@wangruin,@Zhangruichao,@Crystal-LiuJing,@dreamay,@shyamrox,@itweixiang,@zddr,@zdsg1024,@goodqiang,@ylcq,@laotan332,@zbtzbtzbt,@long2ice,@liuqian1990,@wuleistarrocks,@dufeng1010,@mklzl,@chenyjsr,@DeepThinker666,@johndinh391,@karan-kap00r,@wanpengfei-git,@creatstar,@Gabriel39,@Ielihs,@hffariel,@SaintBacchus,@bigdata-kuxingseng,@staman96,@Johnsonginati,@Gri-ffin,@jsinwell,@DebayanSen96,@RishiKumarRay,@Ccuurryy,@wuqiao,@screnwei

对于 StarRocks

StarRocks 创建两年多来，始终专一打造世界顶级的新一代极速全场景 MPP 数据库，帮忙企业建设“极速对立”的数据分析新范式，助力企业全面数字化经营。
以后曾经帮忙腾讯、携程、顺丰、Airbnb、滴滴、京东、众安保险等超过 110 家大型用户构建了全新的数据分析能力，生产环境中稳固运行的 StarRocks 服务器数目达数千台。
2021 年 9 月，StarRocks 源代码凋谢，在 Github 上的星数已超过 3000 个。StarRocks 的寰球社区飞速成长，至今已有超百位贡献者，社群用户冲破 5000 人，吸引几十家国内外行业头部企业参加共建。