关于olap:受美制裁俄罗斯-ClickHouse-能否扛起数据库大旗

8次阅读

共计 2668 个字符，预计需要花费 7 分钟才能阅读完成。

随着俄乌抵触的继续，包含不少巨头在内的二十余家科技公司暂停了俄罗斯的所有服务。一时间，人们对俄罗斯科技实力，尤其是根底软件的程度分外关注。通过观察作为外围根底软件之一的数据库管理系统，咱们能够对俄罗斯技术实力略知一二。

在寰球出名的数据库风行度排名榜 DB-Engines 上，俄罗斯有 7 款产品上榜，其中排名第一的 ClickHouse 凭借其优异的性能体现目前位列 DB-Engines 榜单 46 名。

大数据畛域从业者对 ClickHouse 应该十分相熟了。这个最后由俄罗斯的 Yandex 公司研发并开源的数据仓库，以单表查问快名闻遐迩，一改传统 Hadoop 技术栈“笨、重、慢”的特点。ClickHouse 绝对于 Hadoop 在性能方面有极大晋升，也因而成为寰球很多互联网公司数据分析的不二抉择。

那么 ClickHouse 到底实力如何？在当今的大背景下还是否扛起俄罗斯数据库大旗？明天，咱们通过和国产数据库新秀的 OushuDB 进行比照来一窥 ClickHouse 真正实力。让咱们刮目相待！

OushuDB 由偶数科技自主开发，偶数外围研发团队曾主导国内顶级的数据库开源我的项目。OushuDB 实现了高弹性、高性能、强扩展性、强兼容性等下层技术的改革，帮忙企业轻松构建外围数仓、数据集市、实时数仓以及湖仓一体数据平台。

为了更直观的比拟 OushuDB 与 ClickHouse 的查问能力，咱们用国内通用的数据库测试规范 TPC-H 对 OushuDB 和 ClickHouse 进行测试。TPC-H 是美国交易解决效力委员会 (TPC, Transaction Processing Performance Council) 组织制订的用来模仿决策反对类利用的一个测试集，目前在学术界和工业界广泛采纳它来评估数据查询处理能力。

TPC-H 包含 22 个查问 (Q1~Q22)，咱们次要的评估指标是各个查问的响应工夫，即从提交查问到后果返回所需工夫，咱们对两个平台在单节点环境和多节点（6 点）环境上别离运行这 22 条查问语句，来比照剖析两者的数据仓库性能反对与查问性能差别。

在可进行比拟的查问语句中，OushuDB 单节点性能是 ClickHouse 的 5 倍以上，多节点在 ClickHouse 的 2 倍以上，其中 Query 3 快了 21 倍。OushuDB 性能劣势显著。

在查问语句反对方面，OushuDB 反对 TPC-H 全副 22 条查问语句，ClickHouse 只反对其中的 9 条（单节点查问）和 6 条（多节点查问）。不反对起因包含 a) 语法不反对；b) 运行时报内存限度；c) 运行重大超时几类问题。

数据量：100G
节点数：1

数据量：600G
节点数：6

测试步骤

a. 单节点环境具体步骤
i. 配置 OushuDB 集群；
ii. 导入 100G TPC-H 数据，运行 TPC-H 22 条 query；
iii. 配置 ClickHouse 集群；
iv. 导入 100G TPC-H 数据，运行 TPC-H 22 条 query。

b. 6 节点环境具体步骤
i. 配置 OushuDB 集群；
ii. 导入 600G TPC-H 数据，运行 TPC-H 22 条 query；
iii. 配置 ClickHouse 集群；
iv. 导入 600G TPC-H 数据，运行 TPC-H 22 条 query。

硬件环境

软件环境

通过测试，ClickHouse 在查问过程中呈现大量兼容性或性能问题，完成率仅为 OushuDB 的 34%。在可进行比拟的查问语句中，OushuDB 单节点性能是 ClickHouse 的 5 倍以上，多节点在 ClickHouse 的 2 倍以上，其中 Query 3 快了 21 倍。大规模数据查问与各行业实际更为靠近，OushuDB 的性能劣势就更为显著。

上述 TPC-H 测试也验证了 ClickHouse 作为数据仓库存在的一些局限。

1、SQL 规范兼容不残缺

依据 TPC-H 22 条的查问语句输入，局部查问报出 DB::Exception: Missing columns 的异样，然而已验证表构造中该列存在，该报错也合乎 ClickHouse 官网给出的文档资料。如 query2，query4，query 15 等。

2、内存应用超出配置

ClickHouse 应用内存设置为 32GB，依然有局部查问报错：DB::Exception: Memory limit (forquery) exceeded，如单点 100G 数据查问的 query5、query7、query8 等，多点 600G 数据查问的 query3、uery5、query7、qeruy8、query13 等。

3、长时间无奈返回查问后果

试图执行局部查问语句后长时间无奈返回查问后果，设定超时时长为 3000 秒，在单点 100G 数据下，如 query19 未返回后果。

4、性能差距大

别离在单机解决 100G 数据和 6 节点集群解决 600G 数据后比对单个查问和查问总工夫，发现对于 ClickHouse 可反对语句，单节点下总体工夫 ClickHouse 是 OushuDB 的 5 倍左右，多节点下总体工夫 ClickHouse 是 OushuDB 的 2 倍左右。多节点集群下局部查问所需内存更多，有更多查问报出 Memory limit 的异样，比方单节点 ClickHouse 耗时较长的 query3 在多点环境下无奈运行。

5、架构差别显著

因为 ClickHouse 是 MPP 架构，存算耦合，集群规模受限，针对数据量较大的场景须要分库分集群，容易造成数据孤岛，扩容简单。无奈原生的部署到云上，施展不了云上弹性和老本劣势。

6、易用性相待改善

正如前文所讲，在测试过程中，OushuDB 一次性实现所有 Query，然而开源版的 ClickHouse 要想用好并不是很容易。所以很多企业用 ClickHouse 岂但没有体验到它传说中的极速，反而因为 ClickHouse 颇高的应用门槛而每每遇到应用问题。

写在最初：

能够看到 ClickHouse 在诞生之初确实满足了企业对高性能的单表查问需要，开源加持下，在寰球范畴受到关注和反对也在情理之中。不过，随着数据价值的晋升和数据量的暴发增长，越来越多的企业已不满足于高性能的单表查问，大规模、强敏态、高时效、智能化的趋势将不可逆。

其实早在往年 4 月，ClickHouse 官方网站就曾经竭力撇清与俄罗斯的关系，但在很多 DBA 和从业者看来，ClickHouse 依然是一款源自俄罗斯的数仓神器。作为一名根底软件从业者，心愿开源真的是无国界的。那么，ClickHouse 到底是否扛起俄罗斯数据的大旗呢？欢送在下方留言探讨吧~~

正文完