关于数据库:StarRocks新版本特性介绍2021年34月

6次阅读

共计 1307 个字符,预计需要花费 4 分钟才能阅读完成。

StarRocks 始终放弃着比拟快的更新节奏,根本放弃 2 - 3 周进行一次版本迭代。
援用
上面咱们来介绍一下 2021 年 3 - 4 月,StarRocks-1.12 ~ 1.14 最新版本的次要性能:

FlinkConnector|Flink 数据高速导入,可保障不丢不重

通过 Flink+StarRocks 的形式构建实时数仓是以后业界支流计划,StarRocks 提供了规范的 Mysql 协定接口,因而 Flink 程序能够间接用 JDBC 读取 StarRocks 中的数据,然而如何在保障高性能导入的状况下同时确保数据不丢不重是很多用户碰到的难题。咱们公布了 StarRocks-Flink-connector 能够让大家不便高效的实现 Flink 写入 StarRocks,TPS 能够达到 80 万 /s。

参考文档:
http://doc.starrocks.com/2166258

Hive 表面 | 无需导入间接进行数仓减速

在传统的 T + 1 离线报表场景中,很多用户曾经累计了大量的 Hive 报表数据,然而因为性能问题,很多利用场景都心愿可能减速报表性能。如果要做数据迁徙可能因为报表数量很多,数据量宏大而难以迁徙。

StarRocks 的 Hive 表面给用户提供了一种不须要数据导入而间接进行数仓查问减速的伎俩,能够替换 Hive/Impala/Presto 等查问引擎,取得数倍的性能晋升。以后版本仅反对 Parquet 格局数据。

参考文档:
http://doc.starrocks.com/2146…

Array 和 String 数据类型 | 更丰盛的类型反对

StarRocks-1.12 版本开始反对了新的数据的类型:Array 和 String,Array 类型是多值列的一种,能够反对嵌套的数组构造,这个性能能够宽泛的应用在人群圈选、A/B Test 等场景。String 类型能够不便其余数据库表 schema 的迁徙,不须要显示指定 varchar()的最大长度,以后最大长度为 65533 字节,后续会裁减长度限度。

参考文档:
http://doc.starrocks.com/2146878

Export 优化 | 晋升导出性能,优化导出格局

Export 性能能够将数据从 StarRocks 导出到 HDFS 和 S3。优化前,Export 导出的 scaner 只能单线程读取,优化后 FE 能够启动多个线程并发导出,从而实现性能数倍晋升,并且数据导出后的格局能够不便的用 Hive 表进行加载,同时能够查问导出工作的状态,每次数据导出能够保障原子性,如果导出事务失败会主动清理数据。

参见文档:
http://doc.starrocks.com/2146007

其余优化

  • 优化 BE 启动速度优化,缩小不必要的查看。
  • 内存应用优化,防止 Insert into 等场景的 OOM。
  • Set global 语义优化,1.13 版本当前 Set global 能够对以后 session 失效。
  • GroupingSets 算子性能晋升,GroupingSets 是 SQL03 规范的个性,能够对多列 group by + union 的场景进行优化。

更多详情能够参考 StarRocks 官网论坛的 Release Notes,也欢送大家增加咱们客服的微信号 StarRocks-1,提出您贵重的意见。

正文完
 0