关于数据库:TPCH-基准测试Databend-Cloud-与-Snowflake-对比

50次阅读

共计 2460 个字符,预计需要花费 7 分钟才能阅读完成。

疾速概览

TPC-H

TPC-H 基准测试是评估决策支持系统的规范,专一于简单查问和数据保护。在这项剖析中,咱们应用 TPC-H SF100(SF1 = 600 万行)数据集比拟了 Databend Cloud 和 Snowflake,该数据集蕴含 100GB 数据和大概 6 亿行,逾越 22 个查问。

免责申明

TPC 基准测试™ 和 TPC-H™ 是交易解决性能委员会(TPC)的商标。咱们的基准测试尽管受到 TPC-H 的启发,但与官网 TPC-H 后果不间接可比。

Snowflake 和 Databend Cloud

  • Snowflake:Snowflake 因其先进的性能而闻名,例如拆散存储和计算、按需可扩大计算、数据共享和克隆能力。
  • Databend Cloud:Databend Cloud 提供与 Snowflake 相似的性能,是一个云原生数据仓库,也将存储与计算拆散,并依据须要提供可扩大的计算能力。它是从开源 Databend 我的项目倒退而来,定位为 Snowflake 的现代化、高性价比替代品,特地适宜大规模剖析。

性能和老本比拟

  • 在数据加载方面,Databend 的老本比 Snowflake 低约 67%。
  • 在查问执行方面,Databend 比 Snowflake 约高出 60% 的老本效率。

留神

基准测试中没有进行调优。后果基于 Snowflake 和 Databend Cloud 的默认设置。记住,不要只是置信咱们的话 —— 咱们激励您本人运行并验证这些后果。

数据加载基准测试

表名 Snowflake(695s, 老本 $0.77)Databend Cloud(446s, 老本 $0.25) 行数
customer18.13713.43615,000,000
lineitem477.740305.812600,037,902
nation1.3470.70825
orders103.08864.323150,000,000
part19.90812.19220,000,000
partsupp67.41045.34680,000,000
region0.7430.7255
supplier3.0003.68710,000,000
总工夫 695s446s
总成本 $0.77$0.25
存储大小 20.8GB24.5GB

查问基准测试:冷启动

查问 Snowflake(总计 207s, 老本 $0.23)Databend Cloud(总计 166s, 老本 $0.09)
TPC-H 111.7038.036
TPC-H 24.5243.786
TPC-H 38.9086.040
TPC-H 48.1084.462
TPC-H 59.2027.014
TPC-H 61.2373.234
TPC-H 79.0827.345
TPC-H 810.8868.976
TPC-H 918.15213.340
TPC-H 1013.52512.891
TPC-H 112.5822.183
TPC-H 1210.0998.839
TPC-H 1313.4587.206
TPC-H 148.0014.612
TPC-H 158.7374.621
TPC-H 164.8641.645
TPC-H 175.36314.315
TPC-H 1819.97112.058
TPC-H 199.89312.579
TPC-H 208.5388.836
TPC-H 2116.43912.270
TPC-H 223.7441.926
总工夫 207s166s
总成本 $0.23$0.09

查问基准测试:热启动

查问 Snowflake (总计 138s, 破费 $0.15)Databend Cloud (总计 124s, 破费 $0.07)
TPC-H 18.9347.568
TPC-H 23.0183.125
TPC-H 36.0895.234
TPC-H 44.9143.392
TPC-H 55.8004.857
TPC-H 60.8912.142
TPC-H 75.3814.389
TPC-H 85.7245.887
TPC-H 910.2839.621
TPC-H 1010.3688.524
TPC-H 111.1651.364
TPC-H 127.0525.352
TPC-H 1312.8296.180
TPC-H 143.2882.725
TPC-H 153.4752.748
TPC-H 164.0941.124
TPC-H 174.20313.757
TPC-H 1818.58311.630
TPC-H 193.8887.881
TPC-H 206.3795.797
TPC-H 2110.2879.806
TPC-H 221.5731.122
总工夫 138s124s
总破费 $0.15$0.07

复现基准测试

您能够依照以下步骤复现基准测试。

基准测试环境

Snowflake 和 Databend Cloud 都在相似条件下进行了测试:

参数 SnowflakeDatabend Cloud
计算集群大小 小型 小型
vCPU1616
价格 $4/ 小时 $2/ 小时
AWS 区域 us-east-2us-east-2
存储 AWS S3AWS S3
  • TPC-H SF100 数据集,来源于 Amazon Redshift,曾经加载到 Databend Cloud 和 Snowflake 中,没有进行任何特定的调优。

基准测试方法

咱们对查问执行进行了冷热两轮运行:

  1. 冷运行 :在执行查问之前,数据仓库被挂起并复原。
  2. 热运行 :数据仓库没有被挂起,应用本地磁盘缓存。

先决条件

  • 领有一个 Snowflake 账户
  • 创立一个 Databend Cloud 账户.

数据加载

  1. Snowflake 数据加载

    • 登录您的 Snowflake 账户.
    • 创立对应 TPC-H 架构的表。SQL 脚本.
    • 应用 COPY INTO 命令从 AWS S3 加载数据。SQL 脚本.
  2. Databend Cloud 数据加载

    • 登录您的 Databend Cloud 账户.
    • 创立必要的表,与 TPC-H 架构相符。SQL 脚本.
    • 应用相似 Snowflake 的办法从 AWS S3 加载数据。SQL 脚本.

TPC-H 查问

  1. Snowflake 查问

    • 登录您的 Snowflake 账户.
    • 运行 TPC-H 查问。SQL 脚本.
  2. Databend Cloud 查问

    • 登录您的 Databend Cloud 账户.
    • 运行 TPC-H 查问。SQL 脚本.
正文完
 0