共计 1913 个字符,预计需要花费 5 分钟才能阅读完成。
明天被朋友圈刷屏了,StarRocks 开源——携手将来,星辰大海!
原文链接:StarRocks 开源——携手将来,星辰大海!
可能大家对 StarRocks 不太熟悉,然而 DorisDB 想必都是据说过的。
在过来相当长的一段时间,对于 ClickHouse 与 DorisDB 的性能之争始终经久不息。
对于实时 OLAP 引擎的抉择,Doris 也越来越多并企业所利用。
DorisDB 是一款纯国产的高性能的,分布式关系型列式数据库。
DorisDB 脱胎于百度广告业务的实时剖析场景,于 2018 奉献给 Apache 开源社区,之后在美团,小米,字节跳动,京东等互联网企业被实用于外围业务实时数据分析。
DorisDB 致力于满足企业用户的多种数据分析场景. 反对多种数据模型 (明细表,聚合表),多种导入形式 (批量,可整合和接入多种现有零碎 (Spark,Flink,Hive,ElasticSearch)。
DorisDB 个性
DorisDB 的架构设计交融了 MPP 数据库,以及分布式系统的设计思维,具备以下个性:
架构简略
DorisDB 集群的失常运行不须要依赖任何其余零碎,易部署,易保护. 极简的架构设计,升高了 DorisDB 零碎的复杂度和保护老本,同时也晋升了零碎的可靠性和扩展性。管理员只须要专一于 DorisDB 零碎,无需学习和治理任何其余内部零碎。
分布式架构
DorisDB 采纳分布式架构,存储容量和计算能力可近似线性程度扩大。DorisDB 集群的规模可扩大到数百节点,反对的数据规模可达到 10PB 级别。元数据和数据管理采纳热备保障高可用,可能自愈,服务和数据安全可靠。
自治零碎,治理简略
DorisDB 是一个自治的零碎。节点的高低线,集群扩缩容都可通过一条简略的 SQL 命令来实现; 在此操作期间,DorisDB 后盾主动实现数据 rebalance; 用户的查问和数据导入操作可同时失常运行。
另外 DorisDB 表模式热变更,可通过一条简略 SQL 命令动静地批改表的定义,例如减少列、缩小列、新建物化视图等。同时,处于模式变更中的表也可也失常导入和查问数据。
规范 SQL
DorisDB 反对规范的 SQL 语法,包含聚合,JOIN,排序,窗口函数,自定义函数等性能,用户能够通过规范的 SQL 对数据进行灵便的剖析运算。此外,DorisDB 还兼容 MySQL 协定语法,可应用现有的各种客户端工具、BI 软件拜访 DorisDB,对 DorisDB 中的数据进行拖拽式剖析。
MPP(Massively Parallel Processing)执行框架
DorisDB 外部通过 MPP 计算框架实现 SQL 的具体执行工作。MPP 框架自身可能充沛的利用多节点、多 CPU,多核的算力,充沛地将整个查问并行执行,从而实现很好的交互式剖析体验. DorisDB 可能反对亚秒级查问,并且查问 QPS 可达 10000 以上。
流批导入
DorisDB 反对实时和批量两种数据导入形式,反对的数据源有 Kafka,HDFS,本地文件. 反对的数据格式有 ORC,Parquet 和 CSV 等. DorisDB 能够实时生产 Kafka 数据来实现数据导入,保证数据不丢不重(exactly once)。DorisDB 也能够从本地或者近程(HDFS)批量导入数据。
高可用
DorisDB 的元数据和数据都是多正本存储,并且集群中服务有热备,多实例部署,防止了单点故障。集群具备自愈能力,可弹性复原. 节点的宕机、下线、异样都不会影响 DorisDB 集群服务的整体稳定性。
DorisDB 能够满足企业级用户的多种剖析需要,包含 OLAP 多维分析,定制报表,实时数据分析,Ad-hoc 数据分析等。
在企业对于大数据分析面临的越来越多的问题状况下。
DorisDB 降级为 StarRocks,并全面开源(Github 搜寻“StarRocks”)
Github:https://github.com/StarRocks/…
另外,官网下载地址与文档,请关注上面的地址。
1.18.2 社区版下载地址:
Https://www.dorisdb.com/zh-cn/download/request-download/1
发行阐明:
Https://forum.dorisdb.com/t/topic/391
文档地址:
Http://docs.dorisdb.com/
POC 测试指南:
Https://www.bilibili.com/video/BV1SX4y1c7i4?share_source=copy_web
测试 FAQ:https://docs.dorisdb.com/zh-c…
也心愿大家为国产开源软件奉献一份本人的力量。
获取更多 StarRocks 材料,欢送关注 大数据流动 回复“StarRocks”