关于数据库:StarRocks-社区一周年极速统一感谢遇见

51次阅读

共计 2928 个字符,预计需要花费 8 分钟才能阅读完成。

2021 年 9 月 8 日,StarRocks 社区诞生。

这一年里,StarRocks 共公布了 5 个大版本和 41 个小版本,合并了 7200+ 次 Pull Requests,寰球用户也从 0 增长到当初的 7000+。

这些数字的背地代表着什么样的意义和激情?

咱们想借这个机会做个总结,也感激跟每位社区敌人的遇见!

#01

对于技术的一些总结

对于“极速对立”这件事,咱们是认真的。

各行各业对数据分析的需要突飞猛进。为了更好满足场景需要,StarRocks 一直迭代翻新,在过来一年里共公布了 46 个大小版本,维持着两个月一大版本,每周一小版本的速度疾速迭代。

2021 年 10 月,StarRocks 公布了开源后的第一个大版本—— v1.19:

这个版本外围个性是主键模型(Primary Key),主键模型解决了在列存剖析型数据库中更新的难题,通过齐全自主设计的存储引擎,在秒级数据导入场景下实现了高效的数据分析效率。同时也补充了表面写入性能,以满足集群数据同步的需要,通过 Global Runtime Filter 晋升多表剖析能力。

2022 年 1 月,具备里程碑意义的 StarRocks 2.0 公布,这是 StarRocks 的第一个 LTS(Long-term support)版本: 在 2.0 版本中,StarRocks 创新性实现了基于全局字典的低基数字符串查问优化,建立了查问性能的业界新标杆,也标记着向量化引擎的齐全成熟。另一个重要更新是全新设计的内存管理模式,也从根本上解决了 BE OOM 的问题。此外,2.0 版本还反对了 S3 上的 Hive 表面性能、通过了国产 CPU 鲲鹏架构的适配,增强了技术生态上的适配与链接。

2022 年 3 月,StarRocks 2.1 版本面世。 在这个版本中,StarRocks 实现了全新的 Pipeline 计算调度引擎,能够解决高并发下简单计算调度的瓶颈。通过对 bitmap index 和 cache 的优化,过后单表性能齐全超过了同类主流产品。对 Iceberg 表面的反对,则让数据湖剖析的能力初步成型。

2022 年 5 月,StarRocks 2.2 版本面世。 在这个版本中,咱们补充了大量外围性能,包含通过资源组治理解决多种负载之间的资源隔离问题,通过 Java UDF 不便用户对数据库函数进行自定义的扩大,通过实现 Json 类型来扩大半结构化数据的解决能力。由此,StarRocks 在对立负载、计算和数据类型上迈出了重要的一步。

2022 年 7 月,StarRocks 公布了最新版本—— StarRocks 2.3: 这个版本里咱们反对了 External Catalog,让数据湖剖析的易用性大大晋升。另外进一步优化了主键模型,反对残缺的 DELETE WHERE 语句,让用户能够更加不便地间接应用 SQL 命令实现带有简单逻辑的数据删除操作,从而反对更加丰盛的更新需要。主键模型的索引落盘能够把原来的内存耗费升高到 1/10 的程度。至此,StarRocks 的实时剖析能力也达到了一个全新的高度。

02

对于社区的一些总结

与开发者共创价值是 StarRocks 社区成立的初心,也是咱们一直致力的方向。

这一年,StarRocks 在寰球减少了 7000 多名用户,助力超过 150 家大型用户构建了全新的数据分析能力。

这是一个什么样的概念?

当你早起晨练、下班打车、中午点外卖、上班去超市洽购、收快递、刷微博微信、没事玩手机打游戏、或是在网上购物,这些场景的平台底层可能都有 StarRocks 在做数据分析。

除了帮忙企业级用户构建全新的数据分析能力,StarRocks 社区还有四个外围价值:学习、分享、成长、链接。 咱们心愿通过一直的分享与独特学习,让更多人理解 StarRocks 和大数据技术、成为行业专家。

为了达成上述指标,咱们也踊跃地推动社区体系的建设和流程的优化。咱们把社区分成了 以代码共建为主的 Developer Group 和 由泛滥应用 StarRocks 的用户所组成的 User Group,还有 不同的 SIGs(专项兴趣小组),让开发者能够依据本人的趣味和能力投身到本人感兴趣的我的项目 / 组织中。

(感激积极参与流动和探讨的社区氛围组!)

想晓得你在 StarRocks 社区的成长门路吗?点击解锁社区攻略 👉《StarRocks 社区架构出炉,等你通关降级!》

#03

对于极速对立的当初和将来

新一代流批交融的极速湖仓(Lakehouse)是 StarRocks 我的项目的指标,也是咱们社区这一年致力的方向。

目前,StarRocks 曾经能作为批流一体的存储来对接像 Apache Kafka 这样的消息中间件,流式计算引擎 Apache Flink,也能对接 Apache Hive 这样的离线数仓和批处理引擎 Apache Spark。将来咱们会在批处理和流计算上做进一步的交融,让用户更简略地进行实时和离线数据的对立剖析。

在湖仓方向上,StarRocks 曾经对接了 Apache Hive、Apache Iceberg、Apache Hudi 等数据湖存储,能够无缝对接湖上的数据和元数据进行查问减速。将来咱们会进一步交融湖仓,让湖上的数据有对立治理的根底上实现仓中的剖析体验。

在新的云原生架构反对下,StarRocks 还会提供齐全的存算拆散计划来升高存储老本,晋升计算弹性,反对多租户的资源隔离和数据共享能力。

将来,StarRocks 社区将判若两人秉持“凋谢、容纳、单干、共赢”的社区文化,与寰球开发者和用户并肩翻新、摸索极致之境,在顶级开源社区中携手开启极速对立的数据分析新范式。

上面一起来看看社区小伙伴对 StarRocks 社区的祝愿:
https://www.bilibili.com/vide…

在这个值得庆贺的日子,社区特地筹备了 StarRocks 一周年限量卫衣与各位小伙伴分享。

只需将本文分享朋友圈、留下和煦祝福语,发送截图给小助手(微信:StarRocks-1)。

咱们将选出 10 条走心留言,将礼物送到你的手上。

参加规定:

1. 本流动截止至 9 月 13 日上午 10:00

2. 流动完结后,请分割 StarRocks 小助手支付奖品,并将朋友圈转发截图发送给小助手

3. 若 9 月 15 日前未分割小助手,默认放弃领奖

#04

StarRocks Summit Asia 2022!

一周年没有 Party 怎么行?

StarRocks Summit Asia 2022 行将在 9 月 24 日举办!

届时将有来自华润万家、OPPO、携程、中原银行、众安保险、京东物流、百草味、腾讯游戏等 30 多家用户和社区共建搭档一起共襄盛举,为大家独特描述极速对立的数据分析新范式!

敬请期待!

对于 StarRocks

StarRocks 创建两年多来,始终专一打造世界顶级的新一代极速全场景 MPP 数据库,帮忙企业建设“极速对立”的数据分析新范式,助力企业全面数字化经营。

以后曾经帮忙腾讯、携程、顺丰、Airbnb、滴滴、京东、众安保险等超过 150 家大型用户构建了全新的数据分析能力,生产环境中稳固运行的 StarRocks 服务器数目达数千台。

2021 年 9 月,StarRocks 源代码凋谢,在 GitHub 上的星数已超过 3200 个。StarRocks 的寰球社区飞速成长,至今已有超百位贡献者,社群用户冲破 7000 人,吸引几十家国内外行业头部企业参加共建。

正文完
 0