共计 5287 个字符，预计需要花费 14 分钟才能阅读完成。
引言
星环科技于 2021 年 3 月公布了星环极速大数据平台 TDH 的 8.0 版本。置信很多用户都对这款产品十分感兴趣。
本系列文章向您逐个介绍 TDH8.0 全新性能和技术创新。帮忙企业级数据平台用户更全面、深刻地理解前沿的大数据技术，更好地技术选型。
您也能够在星环科技官网视频号、星环社区服务号、以及 bilibili、腾讯视频等站点看到咱们的视频
往期精彩回顾：
TDH8.0 应用必读：为什么你须要存算解耦的多模型数据管理平台
2021 年，你还在用单模型数据库吗
现在越来越多的企业在议论数字化转型。晚期阶段，企业会抉择一些要点场景，进行数据采集、存储、剖析、决策、利用的尝试。繁多的、绝对固定的成熟场景，购买市场上适合的大数据或数据库产品通常都能撑持。
随着数字化转型的深刻和企业的疾速倒退，业务部门的扩张、不可预测的需要变动、业务翻新机会的降临、企业治理规范的进步等各类状况呈现时，各自独立的大数据和数据库产品如同一个个数据孤岛，成为不同场景、我的项目、业务、部门间数据互通的壁垒。
企业在数据交融翻新过程中，可能须要应用关系型存储、文本存储、图存储、对象存储、搜索引擎、天文空间存储、键值存储、宽表存储、时序数据存储、事件存储等更丰盛的数据存储模型。应用多种单模型数据库将会导致数据冗余、数据一致性治理难、数据跨库剖析难、资源配置难等一系列问题。同时，多产品的语言与接口不对立，学习老本高，运维老本高，零碎的总领有老本也会一直进步。
企业为什么须要多模型大数据平台
近年来，越来越多的企业逐步意识到：将来的大数据平台，既要为不同的我的项目场景配置不同数据模型以保障其高性能，又要让数据操作和运维更便捷、更对立。因而在一个对立平台中多种数据模型并用变得越来越风行。
晚期的几种多模型数据平台实现门路，仅仅简略地将多个繁多模型数据库组合在一个软件系统中。用户能够应用关系数据库来长久化结构化表格数据; 应用文档存储来存储非结构化类对象数据; 应用键 / 值存储来存储散列表; 应用图数据库来存储高度链接的参考数据。在同一个我的项目中组合多个单模型数据库，仅仅在界面的对立，并不能根本性的解决问题。
与之相比，原生的多模型大数据平台在以下方面具备人造劣势：
- 更弱小的数据一致性。业务须要不同的数据模型时，多模型大数据平台人造反对一份逻辑数据，多种数据建模，利用于多个不同场景。防止了应用多个繁多数据模型产品时，面对的数据一致性、数据导入导出延时、数据冗余等问题。
- 更灵便的资源弹性。多模型大数据平台，将不同模型的存储和计算资源池化，能够依据业务须要随时增减数据模型的品种，灵便部署和回收计算和存储资源，真正做到按需分配，用完回收，更灵便、更充沛的应用好存储计算资源。
- 更简洁的操作与运维。多个单模型数据库产品，往往接口不同、语法各异，开发人员学习老本昂扬，专业技能门槛高。应用对立的多模型大数据平台，开发人员只用学习对立的语言、对立的接口来操作多个数据模型，难度显著升高。
星环科技的多模型大数据平台实现门路
目前常见的多模型数据库架构如下所示，传统的架构次要采纳了三种实现模式：
第一种：为每一种新数据模型开发独立残缺的存算策略。毛病是存算耦合，反对的模型越多，零碎的开发量和复杂度就越高，耗费存算资源也较多。
第二种：用繁多存储引擎撑持多个存储模型。毛病是因为不同计算数据模型对于存储的要求不同，繁多存储引擎无奈随之匹配适宜的存储策略，从而限度了多模型数据库的性能。
第三种：在多种独立数据库之上提供对立的用户界面，对底层多个数据库进行转发。毛病是因为底层多个数据库开发语言不统一，导致了理论开发时的高难度，排除故障的老本也较高。
这三种实现形式都存在着不同水平的问题，为了解决这些问题，咱们须要一套对立的架构来同时反对多模型、高可用与高性能。星环极速大数据平台产品 TDH（Transwarp Data Hub）8.0 版本采纳了原创的分层架构设计：提供了对立的 SQL 编译器层，对立的分布式计算引擎层，对立的分布式数据管理系统层以及对立的资源调度层，基于存算解耦合实现了反对 10 种数据模型模型。
SQL 层：对立的 SQL 编译器
Quark 是星环自主研发的分布式 SQL 编译器，兼容多种方言的 SQL 编译器，包含 HiveQL，Oracle，DB2，Teradata 等方言，也包含了算子和类型零碎。TDH 中的各个数据库产品听从统一的 SQL 标准。用户不须要因为场景切换、数据库切换而造成接口、开发语言切换而懊恼。对立的 SQL 查问使得开发人员学习老本极低，开发的代码可移植性更强，技术对接更加容易。
计算层：对立的分布式计算引擎 Transwarp Nucleon
Nucleon 是星环自主研发的分布式计算引擎。计算引擎能依据不同的存储引擎主动匹配高性能算法，无需用户手工干涉，从而便捷地实现 跨库关联，防止数据导入导出。
数据管理层：对立的数据存储系统为不同存储引擎提供公共的存储管理服务
TDDMS 是星环自主研发的分布式数据管理系统，治理数据多正本间的强统一；治理数据在存储介质上的正当分片散布，扩缩存储容量时，主动治理数据重散布，充分利用存储资源；保障数据高可用，在存储硬件故障时，保持数据存储服务不中断。TDFS (Transwarp Distributed File System)是星环自主研发的分布式文件系统，提供文件目录构造及无关服务；次要用于数据批量导入和导出的时候以文件模式进行数据交换的性能。
资源管理层：对立的资源调度零碎 TCOS
TCOS 是星环自主研发的云原生操作系统，贴合服务器硬件和操作系统；提供对立的资源调度框架，通过容器化编排，对立调度计算、存储、网络等各类根底资源。反对一键部署 TDH，在线扩容、缩容，同时反对基于优先级的抢占式资源调度和细粒度资源分配。TCOS 基于先进的云原生技术构建，适配了多种支流的 CPU 架构和多种操作系统，反对不同硬件、不同操作系统的服务器混合部署。在集群扩容时，客户不必放心新旧设施兼容性问题，资源利用率更高。
异构存储引擎层：用 8 款异构存储引擎反对 10 种存储模型
采纳星环科技的多模型数据管理平台，不同源的数据，依然应用不同存储引擎存储，保障其高性能。不同的数据库，都架构在对立多模型数据平台中，跨库的关联剖析不须要额定的数据导出导入过程，防止了数据冗余，应用非常便捷。TDH8.0 提供了 8 款独立的存储引擎保障了不同存储模型的高性能。用户能够依据业务的须要，随时增减不同的存储引擎，做到资源按需分配。
1、关系型剖析引擎 Inceptor——关系型数据存储
Transwarp Inceptor 是星环科技自主研发的关系型剖析引擎，提供 PB 级海量数据的高性能剖析服务。Inceptor 是寰球首个通过剖析决策零碎国内基准测试 TPC-DS 的产品；同时反对残缺的 SQL 规范语法，兼容 Oracle、IBM DB2、Teradata 方言，兼容 Oracle 和 DB2 的存储过程，能够平滑迁徙利用；反对分布式事务处理，保障数据强一致性。Inceptor 帮忙用户疾速开发 数据湖、数据仓库 等利用。
2、宽表数据库 Hyperbase——宽表存储、对象存储、文本存储
Transwarp Hyperbase 是星环科技自主研发的 NoSQL 宽表数据库，撑持百万级高并发、毫秒级低延时业务需要。Hyperbase 反对结构化数据，及文本、图像、视频、对象等非结构化数据的存储；反对全文索引、二级索引等索引技术；提供多租户治理；反对 SQL 规范语法，并兼容开源 HBase。Hyperbase 帮忙用户疾速 开发历史数据查问、业务在线检索等利用。
3、分布式图数据库 StellarDB——图存储
Transwarp StellarDB 是星环科技自主研发的企业级分布式图数据库，提供高性能的图存储、计算、剖析、查问和展现服务。StellarDB 反对原生图存储，百亿点、万亿边、PB 级大规模图数据存储；具备 10+ 层的深度链路剖析能力，提供丰盛的图剖析算法和深度图算法；反对标准图查询语言并兼容 OpenCypher，并具备海量数据 3D 图展现能力。StellarDB 帮忙用户疾速开发 欺诈检测、举荐引擎、社交网络分析、常识图谱等利用。
4、搜索引擎 Transwarp Scope——全文搜寻
Transwarp Scope 是星环科技自主研发的分布式搜索引擎，提供 PB 级海量数据的交互式多维检索剖析服务，可能实现高牢靠、高扩展性的全文搜寻与灵便查问。毫秒级疾速响应用户的检索需要；分钟级疾速复原单点故障。Transwarp Scope 反对结构化、半结构化，及图片、音影、互联网数据等非结构化数据存储，并保障数据的强一致性。Transwarp Scope 帮忙用户疾速 开发文本信息剖析检索、企业级搜索引擎等利用。
5、时空数据库 Spacture——天文空间存储
Transwarp Spacture 是一款自主研发的分布式时空数据库，提供空间天文、时空轨迹、遥感影像等海量数据的存储、查问、剖析和开掘服务。Spacture 具备高性能数据读写和剖析能力。反对 OGC 规范图形类型和空间关系，兼容常见的开源和商业 GIS 软件；内置了时空索引、空间拓扑几何、遥感影像解决等高效算法。Spacture 帮忙用户疾速开发时空查问剖析、时空模式开掘、时空轨迹聚类等利用，宽泛 利用于位置服务、城市治理、交通物流、疫情防控等场景。
6、键值数据库 Transwarp KeyByte——键值存储
Transwarp KeyByte 是一款高性能键值数据库，提供数据实时插入与高并发检索服务。KeyByte 采纳主从高可用架构，反对容灾、主备主动切换和故障迁徙；兼容 Redis 外围数据结构与 API；反对数据的长久化；反对弹性扩大。KeyByte 帮忙用户疾速开发 热点数据缓存、高并发数据存储、实时或限时业务反对等利用。
7、时序数据库 Transwarp TimeLyre——时序数据存储
Transwarp TimeLyre 是一款时序数据库，提供海量工夫序列数据的高效压缩存储和高性能剖析服务。TimeLyre 反对数据高速读写，每秒解决数十万条记录和数百次查问。TimeLyre 帮忙用户疾速开发各类业务与设施的 实时监控、实时预警、实时故障 诊断等利用。
8、事件存储库 Transwarp Event Store——事件存储
Transwarp Event Store 是一款高吞吐分布式 NoSQL 数据库，提供音讯和事件的存储与解决服务。Event Store 反对数据长久化；反对数据从指定工夫点重放，保证数据程序性；具备弹性扩大和容错能力。Event Store 帮忙用户疾速开发 日志收集、利用监控、流式数据处理、在线剖析 等利用。
除了以上的 8 款存储引擎之外，TDH8.0 还仍旧提供了咱们的经典产品：实时流计算引擎 Slipstream 和数据迷信平台 Sophon Discover，满足用户的多样应用场景。
实时流计算引擎 Slipstream——实时监测、实时 ETL
Transwarp Slipstream 是星环科技自主研发的企业级、高性能实时流计算引擎，撑持百万级高吞吐、毫秒级低延时业务需要。Slipstream 反对事件驱动和微批处理两种模式，反对 exactly-once 语义、简单事件处理 (CEP)、规定引擎等性能，反对 SQL 编程与开发。Slipstream 帮忙用户疾速开发 实时数据仓库、实时报表剖析、实时智能举荐、实时欺诈检测与危险管制 等利用。
数据迷信平台 Sophon Discover——数据挖掘、机器学习
Transwarp Sophon Discover 是星环科技自主研发的 数据挖掘剖析摸索工具包，其蕴含丰盛的分布式算法库，并内置了诸如金融反欺诈、舆情文本开掘等多个行业利用模块。Sophon Discover 可实现 R、Python、Spark 等多种编程语言进行数据分析解决，并反对 Tensorflflow、Torch 等深度学习算法框架、异构硬件资源的对立运筹与治理。
TDH8.0 实际计划
在 TDH 8.0 中，实时流解决采纳 Slipstream；结构化数据的批处理、数据湖、数据仓库采纳 Inceptor；宽表存储、文本存储、对象存储等非结构化数据采纳 Hyperbase；从而构建实时流解决、批处理、数据湖、数据仓库一体化计划。
平台还提供其余服务，实用于全文检索的搜索引擎 Scope；实用于实体间多层级链路关系剖析的图数据库 StellarDB；实用于时空地理分析的时空库 Spacture 等等。
多模型大数据平台，与传统开源计划相比，架构复杂度低、开发成本低、运维成本低、数据处理效率高。
总结
星环多模型大数据管理平台 TDH 8.0，采纳“接口、计算、治理、调度四层对立、存储模型十种异构”的翻新架构，在保障不同数据模型高性能、高牢靠、高可用的同时，实现了资源配置更灵便、操作运维更简洁易用的指标。
在将来，咱们置信，从大型企业和机构，到小微企业，再到集体开发爱好者，都能够通过便捷接入的形式，敌对的开发环境，轻松的搭建、开发、运维本人的数据平台和利用。将大数据来自每个人，又服务于每个人的理念，从科幻变为科技事实。
