关于开源:Databend-v08-新版本上线

7次阅读

共计 4467 个字符，预计需要花费 12 分钟才能阅读完成。

Hello，大家好，我是漩涡，当初由我代表 Databend 社区发表 v0.8 版本的正式公布。

Databend v0.8 的开发于 3 月 28 号开始，总计 5000+ commits，4600+ 文件变更。在过来的 5 个月中，社区的 120 余位贡献者新增了 42 W 行代码，删除了 16 W 行，相当于把 Databend 重写了一遍。在该版本中，社区对 SQL Planner 框架做出了重大改良，并将所有的 SQL 语句都迁徙到了新的 Planner 上，提供了残缺的 JOIN 和子查问反对。

当初就下载最新版本

https://github.com/datafusela…

接下来就让咱们看看 v0.8 都做了什么吧～

Databend 是一个基于 Rust 开发的现代化云数据仓库，致力于实现高性能可弹性扩大的实时数据分析，激活用户的数据潜能。

New Planner: JOIN! JOIN! JOIN!

为了更好的反对简单的 SQL 查问和晋升用户体验，Databend v0.8 设计了全新的 Planner 框架。在 New Planner 的驱动下，Databend 减少了 JOIN 和高效的子查问反对，所有的子查问在进入 runtime 之前曾经齐全被 decorrelation：

select vip_info.Client_ID, vip_info.Region 
    from vip_info right 
    join purchase_records 
    on vip_info.Client_ID = purchase_records.Client_ID;

New Parser: 最好用的 Parser！

在重构 Planner 的同时，Databend 社区基于 nom 和 partt 实现了兼顾开发效率与用户体验的全新 Parser。

新的 Parser 让开发者以直观的形式轻松的设计 / 开发 / 测试简单的 SQL 语法

COPY
    ~ INTO ~ #copy_unit
    ~ FROM ~ #copy_unit
    ~ (FILES ~ "=" ~ "(" ~ #comma_separated_list0(literal_string) ~ ")")?
    ~ (PATTERN ~ "=" ~ #literal_string)?
    ~ (FILE_FORMAT ~ "=" ~ #options)?
    ~ (VALIDATION_MODE ~ "=" ~ #literal_string)?
    ~ (SIZE_LIMIT ~ "=" ~ #literal_u64)?

同时能给予用户具体而精准的报错信息：

MySQL [(none)]> select number from numbers(10) as t inner join numbers(30) as t1 using(number);
ERROR 1105 (HY000): Code: 1065, displayText = error:
  --> SQL:1:8
  |
1 | select number from numbers(10) as t inner join numbers(30) as t1 using(number)
  |        ^^^^^^ column reference is ambiguous

再也不必放心不晓得 SQL 哪里出错了。

拜访 The New Databend SQL Planner 以理解更多细节

除了全新设计的 Planner 之外，Databend 社区还实现了泛滥新性能：

COPY 能力失去了极大强化，当初的 Databend 能够

从任意反对的存储服务复制数据 (甚至是 https！)

       COPY 
           INTO ontime200 
           FROM 'https://repo.databend.rs/dataset/stateful/ontime_2006_[200-300].csv' 
           FILE_FORMAT = (TYPE = 'CSV')

反对复制压缩文件

        COPY 
            INTO ontime200 
            FROM 's3://bucket/dataset/stateful/ontime.csv.gz' 
            FILE_FORMAT = (TYPE = 'CSV' COMPRESSION=AUTO)

UNLOAD 数据到任意反对的存储服务

       COPY 
           INTO 'azblob://bucket/'  
           FROM ontime200
           FILE_FORMAT = (TYPE = 'PARQUET‘)

Databend v0.8 设计并开发了 Multi Catalog 并在此基础上实现了 Hive Metastore 的反对！当初 Databend 可能间接对接 Hive 并从 HDFS 上读取数据。

select * from hive.default.customer_p2 order by c_nation;

很久之前，Databend 社区分享过底层 FUSE Engine 的实现 From Git to Fuse Engine。其中一个十分重要的个性就是反对工夫旅行，咱们可能查问任何一个工夫点的数据表。

从 v0.8 版本开始，这个性能被正式实装啦，当初咱们能够

查问指定工夫的数据表

        -- Travel to the time when the last row was inserted
        select * from demo at (TIMESTAMP => '2022-06-22 08:58:54.509008'::TIMESTAMP); 
        +----------+
        | c        |
        +----------+
        | batch1.1 |
        | batch1.2 |
        | batch2.1 |
        +----------+

复原误删除的数据表

       DROP TABLE test;

       SELECT * FROM test;
       ERROR 1105 (HY000): Code: 1025, displayText = Unknown table 'test'.

       -- un-drop table
       UNDROP TABLE test;

       -- check
       SELECT * FROM test;
       +------+------+
       | a    | b    |
       +------+------+
       |    1 | a    |
       +------+------+

让业务数据领有更多保障！

CTE (Common Table Expression) 是 OLAP 业务中常常应用的性能，用来单个语句的执行范畴内定义的长期后果集，只在查问期间无效，实现代码段的重复使用，晋升可读性，更好的实现简单的查问。Databend v0.8 在 New Planner 的根底上从新实现了 CTE，当初用户能够高兴的应用 WITH 来申明 CTE：

WITH customers_in_quebec 
     AS (SELECT customername, 
                city 
         FROM   customers 
         WHERE  province = 'Québec') 
SELECT customername 
FROM   customers_in_quebec
WHERE  city = 'Montréal' 
ORDER  BY customername;

除了上述提到的这些性能，Databend v0.8 还反对了 UDFs，减少了 DELETE 语句，进一步强化了半结构化数据类型的反对，更不用说大量的 SQL 语句改良和新办法的退出。感激 Databend 社区的所有贡献者，没有你们就没有这里提到的所有新个性的诞生！品质晋升

性能实现只不过是产品交付的第一环。在 Databend v0.8，社区引入了工程质量的概念，从用户，贡献者，社区三个维度来评估 Databend 的开发品质。

为了让用户可能释怀地应用 Databend，社区在过来的三个月中减少了大量测试，撷取了来自 YDB 等空虚 stateless 测试集，减少了 ontime，hits 等数据集的 stateful 测试，上线了 SQL Logic Test 对所有的接口进行笼罩测试，启用了 SQL Fuzz 测试来笼罩边界状况。

不仅如此，社区还上线了 Databend Perf 做 Databend 在生产环境的继续性能测试，用来及时发现意外的性能回退问题。

Databend 是一个大型的 Rust 我的项目，其构建工夫饱受社区诟病。

为了改良这一问题，让贡献者舒心，社区上线了高配置，专门调优的 Self-hosted Runner 来执行 PR 的集成测试，启用了 Mergify，mold，dev-tools 等多项服务或工具来优化 CI 流程。

同时还发动了 Databend 我的项目结构调整的新布局，将本来微小的 query crate 拆分为多个子 crate，尽可能防止改一行代码，check 执行五分钟的情景。

Databend 是开源社区的贡献者和参与者。在 v0.8 的开发过程中，Databend 社区确立了 Upstream First 的准则，踊跃跟进并采纳最新的上游版本，反馈已知 BUG，奉献本人的 Patch，开启了 Tracking issues of upstream first violation 来跟进最新的动静。

Databend 社区积极探索与其余开源我的项目的集成，目前曾经实现了 Vector，sqlalchemy，clickhouse-driver 等第三方驱动的集成和反对。

Databend v0.8 是一个夯实根底的版本，咱们有了全新的 Planner，可能更加轻松的去实现性能和进行优化。在 0.9 版本中，咱们冀望改良如下方面：

Query Result Cache
JSON Optimization
Table Share

Processor Profiling

Resource Quota
Data Caching

欢送查阅 Release proposal: Nightly v0.9 以理解最新动静～

拜访公布日志和下载最新版本以理解更多，遇到问题欢送应用 Github Issues 提交反馈！

Databend 是一款开源、弹性、低成本，基于对象存储也能够做实时剖析的旧式数仓。期待您的关注，一起摸索云原生数仓解决方案，打造新一代开源 Data Cloud。

Databend 文档：https://databend.rs/
Twitter：https://twitter.com/Datafuse_…
Slack：https://datafusecloud.slack.com/
Wechat：Databend
GitHub：https://github.com/datafusela…

文章首发于公众号：Databend

正文完

开源

发表至：开源

2022-08-22

0

关于开源:阿里云携手开放原子开源基金会倡议发起云原生工作委员会两大开源项目达成捐赠意向

关于开源:开源赋能-普惠未来｜QUICKPOOL诚邀您参与2023开放原子全球开源峰会

关于开源:Apache-Kylin-PMC-马洪宾开源就是一场螺旋上升的旅程

关于开源:Rich-Bowen-无论你在创造什么最终交付的是信任

关于人工智能:诚邀8月31日因果学习和决策优化挑战赛TOP10队伍作品秀邀您共享因果学习智慧盛宴

关于开源:Databend-v08-新版本上线

Databend 是什么？

重大改良

New Planner: JOIN! JOIN! JOIN!

New Parser: 最好用的 Parser！

全新个性

COPY 加强：

Hive 反对：

工夫旅行：

CTE 反对：

品质晋升

让用户释怀：

让贡献者舒心：

让社区开心：

下一步打算

当初就登程

对于 Databend

Just My Socks（注册教程内含优惠码）

关于开源:Databend-v08-新版本上线

Databend 是什么？

重大改良

New Planner: JOIN! JOIN! JOIN!

New Parser: 最好用的 Parser！

全新个性

COPY 加强：

Hive 反对：

工夫旅行：

CTE 反对：

品质晋升

让用户释怀：

让贡献者舒心：

让社区开心：

下一步打算

当初就登程

对于 Databend

Just My Socks（注册教程 内含优惠码）

Just My Socks（注册教程内含优惠码）