乐趣区

关于数据库:墨天轮访谈-拓扑岭雷鹏数据库新思维下的弹性压缩与内存计算

分享嘉宾 :拓扑岭 CEO、创始人 雷鹏
整顿:墨天轮社区

导读

这两年云原生的概念十分火爆,相应的,就有了“云原生数据库”的概念,然而,绝大多数自称“云原生”的数据库,只是把“数据库软件”搬到云上,变成“数据库 SaaS”,然而在其架构上,并未充分利用“云计算”的各种劣势。

作为一款专为云原生而生的数据库,明天我将为大家解读在新时代背景下,ToplingDB 如何充分利用共有云存储和计算的弹性伸缩,真正为企业实现降本增效。

ToplingDB 的性能劣势

ToplingDB,fork 自 RocksDB,实现了 SidePlugin 旁路插件化体系,从而,应用 ToplingDB 的代码,可仅通过配置来应用第三方组件,而不须要引入任何对第三方代码的依赖,同时,在 SidePlugin 体系内,内嵌了一个 Web Service,能够在线查看 ToplingDB 的各种配置信息和外部状态,在线批改配置,甚至在线执行一些操作(Compact/Flush……),还能够通过 web 导出 Prometheus 格局的 metrics,以最低的开发成本实现了监控。


图 1 ToplingDB VS RockDB

基于维基百科中的测试数据显示,对于总共 109G,3800 万条,均匀长度 2.8K 大规模数据,ToplingDB 的压缩率相比 RocksDB 要高得多,同时在内存限度的状况下,随机读的性能高了 20 倍以上,这就是 ToplingDB 内存压缩算法的劣势。

ToplingDB 新思潮:LSM Tree

1、老传统:B+Tree

RocksDB 采纳传统的 B + Tree,索引节点只蕴含 Kry,同时叶子节点 Kry,Value 相邻存储。

这样的形式会减少治理复杂度,传统流式压缩是通用的压缩算法,不是为 DB 专门设计,输入输出都是字节流,无奈实现高效搜寻。


图 2 老传统:B+Tree

2、新思潮:LSM Tree


图 3 新思潮:LSM Tree

RocksDB 采纳 LSM Tree,它的核心思想是“Append Only”,可能实现:随机写、升高随机读与程序读


图 4 B+Tree VS LSM Tree

不仅如此,LSM Tree 中 Compaction 也提供了福利,Compact 的单个 SST 波及的数据高达数十 MB、甚至 GB 级别,给了咱们在大尺度上窥视 / 剖析数据全貌的机会。

到底 ToplingDB 如何展示数据库新思维?内存压缩与弹性计算的劣势怎么体现?欢送大家返回文档 & 视频专区下载学习。

更多精彩内容,欢送大家观看现场视频回放与会议材料
视频回放 :https://www.modb.pro/video/6184
会议材料:KV 数据库新思维 - 雷鹏


  • 查看原文:https://www.modb.pro/db/397311
  • 查看【国产数据库沙龙】键值数据库专场文章、视频回放资源:https://www.modb.pro/topic/379708

欲了解更多能够进入👉墨天轮,围绕数据人的学习成长提供一站式的全面服务,打造集新闻资讯、在线问答、流动直播、在线课程、文档阅览、资源下载、常识分享及在线运维为一体的对立平台,继续促成数据畛域的常识流传和技术创新。

关注官网公众号:墨天轮、墨天轮平台、墨天轮成长营、数据库国产化、数据库资讯

退出移动版