关于程序员:StarRocks-5-月社区动态

随着 StarRocks 的蓬勃发展,社区每个月都有许多令人兴奋的事在产生。为了让社区的小伙伴们能一站式获取 StarRocks 的最新资讯,咱们推出了 StarRocks 社区动静月刊,内容蕴含产品动静、社区活动、技术干货回顾、社区人物介绍等,让你不错过每一件重要的事!

上面就让咱们一起来回顾这精彩的 5 月吧!

🆕 产品动静

最新版本 StarRocks 2.2.0
Release note: https://forum.starrocks.com/t…

✨ 新版本性能 Highlight

  1. 资源隔离
    资源隔离始终是用户呼声最高的需要之一,在 2.2 版本中咱们公布了 Resource group(资源组)的性能。通过资源组,咱们能够给大查问和小查问设置不同的资源组,给不同资源组配置不同的 CPU 和内存资源,从而大大降低不同负载在同一个集群执行时的互相烦扰。在咱们的测试集中,对小查问的响应提早有 2-4 倍的晋升,显著优于没有应用资源组的版本,局部场景靠近物理隔离的成果。
    另一方面,通过 Pipeline 引擎咱们也在资源组中实现了弹性调度的能力。在集群闲暇的时候,查问会充分利用资源,当集群负载变大时,资源组会依照比例伸缩至原有的资源,这样能够取得比物理隔离更好的资源利用率。
  2. JavaUDF框架
    尽管 StarRocks 曾经提供了很多类型的函数,然而用户依然须要用到各种解决非凡的逻辑,特地是在做 ETL 时。StarRocks 2.2 中提供了 Java UDF 框架,包含 Scalar Funciton、Aggragate Function、Window Function、Table Function 都可应用用户自定义的函数来实现,这样用户能够在 StarRocks 上更好地进行自定义的性能扩大,包含能够迁徙一些来自 Hadoop 生态的 UDF 解决逻辑。
  3. JSON数据类型
    StarRocks 2.2 版本中预公布了JSON 一期性能:提供 JSON 类型,用二进制形式代替之前 JSON 格局的字符串,使得性能晋升至原来的 2 倍;同时也提供了更多 JSON 函数,包含 JSON_EACH 这种 Table function。
  4. 数据湖剖析优化
    在 2.2 中咱们优化了 Apache Hive 表面中基于对象存储(Amazon S3、阿里云 OSS)的内部表的性能,优化后基于对象存储的查问性能能够与基于 HDFS 的查问性能根本持平。另外,通过反对 ORC 格式文件的提早物化,升高了一些过滤度高的查问 IO,还针对一些实在用户场景中小文件过多的问题进行了查问优化。
  5. 主键模型反对局部列更新
    Primary Key 模型反对了局部列更新性能,曾经能够通过 Stream load / Broker load / Routine load 对宽表的局部列进行实时更新。在订单实时更新、多流实时 JOIN 等场景下,应用局部列更新的性能能够升高实时更新工作的解决复杂性,不须要用户保护额定的窗口,也不须要去额定的读取不须要更新的数据。

如果你想理解更多对于新性能的讲解,请点:StarRocks 2.2 新版本个性介绍!

2. LTS (Long-term Support) StarRocks 2.0.5 & 2.0.6

Release notes: StarRocks-2.0 (LTS) Release Notes(最新版本:2.0.6,公布日期:2022年5月25日)

  1. 稳定版 StarRocks 2.1.6 & 2.1.7
    Release notes: StarRocks-2.1 Release Notes(最新版本:2.1.7,公布日期:2022年5月26日)

📚 举荐浏览

技术干货

StarRocks 技术底细:实时更新与极速查问如何兼得

马蜂窝×StarRocks:OLAP 架构降级,开启极速对立新旅程

360 × StarRocks:如何构建“极速对立”的数据分析新范式

精选实用帖

StarRocks-Profile剖析及优化指南

StarRocks 的 kafka 导入工作治理

留神 StarRocks 的复原盲区:drop schema

以后 FE 的监控项

以后 BE 的监控项

社区人物-流木

流木,物联网畛域的大数据开发者,主导将 StarRocks 利用在所在公司多个大数据我的项目。在 StarRocks 社区记录学习了几百个问答后,他撰写了 7 章 39 节 10 多万字的 “手把手教你玩转StarRocks”系列教程 ,被社区搭档戏称为“流木大佬”。

这次专访中,他与咱们分享了他与 StarRocks 社区的故事:行如蜗牛,决定入海 | 访 StarRocks 社区大使流木

📺 社区活动回顾

阿里云 EMR StarRocks 发布会,揭秘极速数据糊剖析底细!

StarRocks x Apache Hudi:面向 Apache Hudi 的 StarRocks 表面个性解析

StarRocks on AWS: 如何对历史数据和实时数据进行极速对立的剖析

🔥六月流动预报

StarRocks 极客营:SQL Parser、Analyzer 专场

直播:梦龙手把手教你玩转 StarRocks

直播 :StarRocks x 37 手游

参加社区|Be A Rock Star!

新晋 committer:

祝贺 @mofeiatwork 成为 StarRocks 社区 Committer 一员!🎉

莫飞在社区的次要奉献:

  • 设计实现了JSON类型,加强了StarRocks 对半结构化数据的解决能力
  • 从新设计了 Sort 算法,在原有根底上取得数倍的性能晋升
  • 参加到 Pipeline 引擎及资源组我的项目的开发,加强 StarRocks 的高并发和弹性能力

💬 莫飞:作为 StarRocks 的 Committer,我冀望本人能进一步为社区和用户发明更大的价值,并通过技术创新将 StarRocks 的性能和用户体验做到极致。欢送有志之士来找我聊聊,咱们来一起搞事件!

🏆 论坛奉献 top 3:

@shemplle 80 posts

@JiangLai 8 posts & 2 topics

@U_1651041279778_8953 8 posts & 7 topics

🏆 StarRocks GitHub 奉献 top 5:

感激你的浏览,期待下个月看见你呈现在咱们的月刊中!

也欢送你关注这些咱们常出没的中央👇🏻

GitHub|官网|Bilibili|知乎|公众号:StarRockslabs

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

这个站点使用 Akismet 来减少垃圾评论。了解你的评论数据如何被处理