共计 7071 个字符，预计需要花费 18 分钟才能阅读完成。
星环科技大数据根底平台 Transwarp Data Hub（TDH）从 2013 年开始公布 2.0 版本至今，每年都会公布一个大版本，通过屡次迭代和技术升级，到 2021 年 TDH8.0 公布，TDH 已成为一个企业级大数据根底平台，基于其当先的多模型技术架构，8 种异构存储引擎反对 10 种数据模型，被广泛应用在离线数据批处理、高并发的在线数据服务、数据集市、数据仓库、数据湖、实时数据处理等各类大数据业务场景。
此外，通过星环科技的一直自主研发，TDH 成为一款国产化自主可控的大数据根底平台，能够代替 Oracle、IBM DB2、Teradata 等传统支流数据库在剖析型场景中的利用及代替 Elastic Search 在分布式搜寻场景中的利用，并在政府、金融、能源、制造业等十多个行业内落地。同时 TDH 实现了与支流信创生态厂商的适配互认工作，满足信创验收要求，帮忙企业打造更全面、更便捷、更智能、更平安地国产化数字底座，减速企业数字化转型。
近日，星环科技正式推出 TDH9.0，基于多模型对立架构对多模型解决能力进一步增强，新增文档存储引擎的同时实现了各模型引擎性能的数倍晋升，对立大数据存储底座晋升 5 倍数据碎片承载能力，强化了存储规模与可靠性，同时新增平台智能运维模块，欠缺的智能运维体系帮忙用户更轻松地运维大数据平台。此外，基于容器平安网络晋升了数据拜访的安全性，联合本身根底平安组件以及大数据开发工具，为用户数据全生命周期提供平安防护。TDH9.0 从整体上进一步晋升了平台综合性能、可靠性、易用性以及安全性，为企业数字化转型构建了对立、高性能、高牢靠的新型数字底座。
多模型对立架构 易开发、易运维、高性能
TDH9.0 外围仍然是对立架构的多模型解决能力，基于多模型对立技术架构提供对立的接口层，对立的计算引擎层，对立的分布式存储管理层和对立的资源调度层。
对立接口层：基于对立的 SQL 编译器 Transwarp Quark 能够实现对立接口解决不同的业务和不同数据模型，只须要简略的 SQL 语句即可实现各种复合跨模型数据查问，无需拜访不同接口即可操作不同的数据模型。对于场景切换、数据库切换而造成接口、开发语言切换的问题就不存在了，开发和迁徙老本大大降低。
对立计算引擎层：基于分布式计算引擎 Transwarp Nucleon 能够依据不同的存储引擎主动匹配高性能算法，不仅能够反对批处理、流解决等不同类型计算工作，还反对不同模型数据的流转与关联，不便用户在一个 SQL 中应用不同模型的数据，升高开发难度，晋升开发效率。
对立的分布式存储管理零碎：为不同存储引擎提供公共的存储管理服务，保障数据一致性，实现数据对立治理运维和高可用。以后 TDH 分布式数据管理系统接入了 9 款存储引擎，反对 10 种数据模型的存储。用户不须要为不同模型建设独自的存储系统，而是通过对立的存储管理，升高了运维治理老本，也防止了数据孤岛。同时分布式数据管理系统的插件个性，也不便后续业务的灵便扩大，能够依据须要接入其余存储引擎，例如 TDH9.0 依据文档解决的新需要，新接入了文档存储引擎 DocStore。
对立的资源调度层：TCOS 是星环科技自主研发的云原生操作系统，提供对立的资源调度框架，通过容器化编排，可能对立调度计算、存储、网络等各根底资源。TCOS 还反对灵便、按需的异构硬件（X86，ARM 混合部署）、异构操作系统的程度扩大，反对独自扩大计算或存储资源的程度扩大，防止因业务数据增长带来的资源缓和而需进行繁琐的扩容、迁徙等工作。同时，也提供了相比虚拟机损耗更低的资源隔离能力，使不同租户、不同利用，资源隔离互不影响。
在 开源大数据计划 中，为了实现不同业务需要，通常须要部署多个不同的产品，比方为了做数仓须要 Hive，为了做准确查问须要 Hbase，为了做搜寻业务须要 ES 等等。这些不同的产品首先在接口标准就不统一，Hive 应用 HiveQL，ES 应用 Restful API，Spark 尽管 API 和 SQL 都反对然而规范也和 Hive、ES 不一样。用户须要学习适配多个产品的不同接口，开发成本高。同样的，这些产品也应用了各自独立的计算引擎和存储，数据存储在各自的生态中难以互通，若须要把数据从一个产品导入到另一个产品中，须要通过文本离线导入导出，ETL 流转效率低，同时也难以保证数据的准确性、一致性和实效性。数据往往在离线流转过程中，可能因为编码或浮点数精度问题，导致数据不统一，最终影响业务准确性。各自独立的计算引擎若部署在同一节点上，也可能会引起计算资源竞争问题。
相比之下，TDH 多模型对立架构，把多种数据模型的接口层、计算引擎层和分布式存储管理通通形象了进去，防止了多个接口标准不对立，防止了计算资源的抢占，防止了存储不对立。一个 SQL 就能够实现不同数据模型的操作和查问，模型转化流转以及跨模型关联剖析，解决了不同模型数据之间的组合应用问题。与开源传统计划架构相比，TDH 对立架构的多模型架构具备复杂度低、开发成本低、运维成本低、数据处理效率低等长处。
以一个具体的跨模型联结剖析利用场景来介绍下多模型对立架构的劣势。 例如，当须要钻研 30 岁人群生产习惯和爱好时，能够将该人群生产的商品评估作为一个参考。那为了取得该人群对某商品的评估数据，咱们须要进行三次检索，并须要应用到图数据库中的人群关系型数据，关系型数据库中的人群生产记录数据，以及搜索引擎中生产商品评估数据。
第一步，定位 30 岁的人群。首先连贯到图数据库中，应用图数据库查询语言 Cyper，找出 30 岁人群一度关系的人群 ID 汇合。
第二步，获取该人群的生产记录。拿到了 30 岁人群 ID 后，须要再连贯到关系型数据库中，应用 SQL 查询语言，用第一步获取的人群 ID 作为过滤条件，获取该人群生产商品 ID，找出这些人群生产了哪些商品。
第三步，获取蕴含特定关键词的商品评估。用户须要连到搜索引擎，编写 RESTful API 申请，应用前两步获取的人群 ID 和生产商品 ID，检索商品评估。
为了实现这个业务，用户须要搭建 3 个独立的数据库，并在利用适配 3 种数据库的连贯形式和查询语言，同时还要求开发人员同时理解这 3 种数据库的开发技术，整个流程非常复杂，技术要求十分高。
此外，因为是 3 个独立的零碎，数据和可能存在不统一，比如说生产记录更新到了关系型数据库，然而相应的评估没有更新到搜索引擎中，导致剖析语句的后果不精确。
而基于星环的多模型对立技术架构，用户只需用一句 SQL 就能同时拜访这 3 种存储模型进行联结剖析，代替了之前 3 段代码。一句 SQL 里，同时对图数据人群关系表，关系型数据生产记录表，全文数据商品评估表，3 个表进行了跨模型关联，一次操作实现了之前三次操作能力实现的业务，大大简化了开发复杂度，简化用户操作。同时数据也仍保留在原存储引擎中，也不必对数据进行导入导出或者转换，不会存在数据不统一或数据冗余存储的问题。
多模型能力降级 更多、更快、更强
TDH9.0 在原多模型能力根底上新增文档数据库，实现 9 种存储引擎反对 10 种数据模型，同时对存储引擎进行降级，提供更高的性能和更强的性能，帮忙企业用户满足更多以及要求更高的业务场景。
- 关系型剖析引擎 Inceptor
关系型剖析引擎 Inceptor 进一步晋升了 SQL 兼容性，加强了 SQL-2016 规范反对度，改良了 Hive 语法兼容，帮忙用户更不便地做利用迁徙和对接；同时 SQL 编译器也进行了表达式，遍历算法，优化，在简单 SQL 场景，最高可晋升 10 倍编译性能。
此外，TDH 9.0 兼容了分布式剖析型数据库 ArgoDB，来更好地撑持关系型剖析场景。在这次公布的 ArgoDB5.0 版本中，对计算引擎、存储引擎、可靠性都做了重要降级，性能上相比于 Inceptor 晋升了 10 倍数据扫描性能，10 倍在线剖析性能，实时数据入库，更是反对每秒每节点，百万的吞吐，大大加强了在关系型剖析场景的性能。相比 TDH Inceptor，ArgoDB 不仅在数据仓库、湖仓集一体、联邦计算等老场景上具备更强的性能，同时还反对了实时数仓、高性能数据集市、AETP 混合简单、隐衷计算等多个拓展场景。
- 图数据库 StellarDB
图数据库 StellarDB，图数据库能够用于常识图谱、常识推理、社区划分、子图剖析等利用场景。StellarDB 在 TDH9.0 迎来了 4.0 版本，除了易用性、安全性、开放性等全面降级以外，性能也取得了大幅晋升。批量导入性能是开源产品的 2 倍，查问场景中六跳查问是开源的 50 倍，算法实现上，罕用的 pagerank 算法和强连通子图算法性能都是开源的 6 倍。StellarDB 通过性能的增强和性能的一直晋升，帮忙帮忙企业用户更快、更高效地开掘海量数据互联价值。
- 搜索引擎 Scope
Scope 是一款兼容开源生态的搜寻产品，反对 TDH 对立 SQL 查问的同时，兼容 ES 生态，保障 ES 平滑迁徙。相比开源产品，Scope 基于 Raft 协定保障数据一致性，反对跨数据中心多活部署，能够构建两地三核心灾备计划，可靠性与容灾能力更强。日志存储解决方案中，因为数据量宏大，企业用户个别对搜寻产品的存储容量较为看重。Scope 单实例存储容量达到了 100TB，是开源的 5 倍，等同规模下 Scope 存储密度更高，能够帮忙企业用户节约硬件老本，同时性能上，Scope 相比开源也晋升了 30% 剖析性能和 2 倍检索性能，能更高效的剖析检索海量日志数据。
- 时空数据库 Spacture
时空数据模型次要是以天文经纬坐标与工夫信息等数据为主，Spacture 反对原生的时空数据类型和矢量数据，能够无效反映挪动对象的静止过程。相比于开源时空数据库，Spacture 的人造分布式架构，能够撑持横向线性扩大，比开源具备更强的时空剖析能力。同时 Spacture 也兼容国家行业标准，和开源商业支流 GIS 软件，不便用户迁徙对接。
- 时序数据库 Timelyre
时序数据库 Timelyre 在 TDH9.0 降级到了 2.2 版本。时序数据在制造业 IoT 设施等场景中经常出现，用于监控设施或环境的一些指标，如温度、电量、工作状态等。因为设施量宏大，指标数据生成频繁，因而时序数据实时吞吐量宏大，历史存储需要容量较高。为了应答这类场景，Timelyre 针对时序数据特色，改良压缩算法，进一步升高了 20%～50% 存储空间占用，晋升 2 倍写入性能。同时相比于开源时序产品，Timelyre 基于 TDH 多模型架构下的分布式扩大能力，让 Timelyre 具备了更多设施标签存储能力，以及基于 TDH 对立 SQL 剖析能力，让 Timelyre 具备了简单关联查问能力。
- 键值数据库 KeyByte
Keybyte 键值数据库反对高性能分布式缓存和高性能分布式锁两种场景。
高性能缓存是内存键值引擎较为罕用的场景之一。开源键值存储引擎基于集群主备的分布式计划，一致性和稳定性都无奈保障，容易影响线上业务的性能。
Keybyte 键值数据库基于单机 KV 内存存储引擎实现了分布式强一致性的 KV 存储能力，同时还反对内存用量限度和丰盛的过期淘汰算法，保障了服务的可靠性和稳定性。同时还兼容了 TDH 对立 SQL 引擎的简单剖析能力，利用场景更丰盛。
- 文档数据库 DocStore
文档数据库 DocStore 是 TDH9.0 全新推出的存储引擎，反对半结构化数据 XML/JSON、非结构化数据图片 /PDF/ 小文件的同时也反对结构化数据存储。
相比于其余存储引擎，文档数据库 DocStore 更关注于文档数据的高性能检索。反对海量文档数据的存储的同时，检索上通过反对多种索引技术来减速文档数据的检索性能，目前能够撑持百万级高并发、毫秒级提早的数据检索能力。
对立大数据存储底座降级大容量、高性能、稳固牢靠
TDH9.0 对大数据存储底座进行了重大降级，对立分布式数据管理系统 TDDMS 和分布式文件系统 TDFS 提供更稳固的小文件治理能力和拜访性能，晋升了存储可靠性，保障数据安全不失落。基于星环分布式交易型数据库 KunDB 提供元数据服务，提供更高性能、更加牢靠的元数据处理服务。星环科技分布式数据管理系统 TDDMS 在 TDH9.0 降级到了 2.0 版本，在存储上优化了对数据碎片文件的解决能力，晋升了 5 倍数据碎片的承载能力，在等同硬件和数据分布条件下，能够存储管理 5 倍的表对象。同时 TDDMS2.0 改良了数据修复能力，能够更及时得主动实现数据故障迁徙与正本修复，晋升了数据安全性与服务可用性。
另一个较大的更新是 TDDMS2.0 反对了多模型数据主动同步的能力，不同存储模型的数据能够基于对立的日志零碎 binlog，实现数据在不同存储模型间的主动转换。例如，实时数据写入到关系型剖析引擎时，能够通过 TDDMS 同时主动同步一份正本到图数据库和时序数据库中，不便用户间接进行图剖析和时序剖析，大大加强了业务实效性，升高了开发复杂度。星环科技分布式文件系统 TDFS 次要负责兼容开源 Hadoop 生态体系的文件存储能力。开源体系中，次要应用 HDFS 作为分布式文件存储系统，然而开源 HDFS 在架构上存在肯定瓶颈。开源 HDFS 的须要将文件元数据存储在 NameNode 节点内存中，因为单节点内存有下限，因而无奈治理大集群海量文件，也无奈解决大量小文件的存储。
星环科技分布式文件系统 TDFS 基于开源 HDFS 架构，在保留了存储节点 DataNode 的架构下，改写了元数据存储模块，应用了星环自研的 Name Manager 和 Block Manager 作为代替。相较于 HDFS，TDFS 元数据基于 Raft 协定进行分布式一致性治理，兼容 Hadoop 生态的同时，容错性更强，不存在单点瓶颈。因为解决了海量小文件治理问题，TDFS 除了反对分布式文件系统以外，还反对对象存储，反对文件存储和对象存储两种模式并行运行。
在 4 节点测试环境中，TDFS 反对 10 亿以上文件数稳固运行，远超开源 HDFS 5 倍文件数治理能力，元数据 QPS 比开源快 1.7 倍，能撑持更高吞吐的业务场景。同时 TDFS 比开源 HDFS 重启速度快 16 倍，在一些运维场景下能更快的复原服务。在 TDH9.0 中，元数据服务基于星环科技分布式交易型数据库 KunDB 作为底层存储，在元数据并发拜访场景下，相比于 TxSQL，KunDB TPS 最高晋升 3.6 倍，QPS 最高晋升 4.4 倍。元数据服务的降级能够综合晋升 TDH 大数据平台底座根底，保障更强的一致性、更高的性能、更牢靠的元数据存储能力。
智能运维，平安无忧
运维方面，TDH 始终致力于晋升产品运维易用性，升高运维难度和老本。TDH9.0 推出了智能运维模块，联合了大数据技术特色与业务最佳实际，通过对 TDH 平台上大数据服务特色指标的收集，基于智能运维规定库匹配判断，提供集群改善运维倡议，保障集群长期高效稳固运行。
例如，在数仓数集场景下，个别须要对关系型数据进行分桶存储，不合理的分桶会影响集群的稳定性和解决性能，智能运维模块能够通过收集集群中表的分桶大小来帮忙用户判断以后的分桶是否正当，提前给出分桶改良倡议，防止后续因分桶问题的进一步好转导致集群不稳固。相似的，智能运维模块还会依据集群历史存储用量剖析，提供预警式扩容打算倡议，通过剖析集群计算资源使用率，提供资源配置优化改良倡议。
智能运维模块蕴含 100 多个智能运维规定，开箱即可用，帮忙用户更轻松地运维大数据平台。数据安全是近期比拟炽热的话题，也是用户比拟关注的问题。TDH9.0 降级了网络安全策略，应用了 Overlay 容器平安网络。通过网络虚拟化的形式，隔离物理网络，用拜访权限管制的形式治理集群网络和内部网络的间接拜访，防止了未受权的内部拜访以及外部数据的透露，升高了用户治理难度，进步了集群网络可用性、安全性和可靠性。除了容器网络隔离以外，TDH 联合本身根底平安组件以及大数据开发工具 TDS，保障用户在数据开发过程中，取得全生命周期的数据安全防护，从数据采集、传输、存储，到解决、流通、销毁，每一步都提供了全面的数据安全技术保障，如加密、脱敏、权限、审计等性能一应俱全，在欠缺的大数据平台平安体系下，能够不便用户建设起数据安全环境与操作流程，保障数据安全。
TDH 社区版让大数据分析触手可及
星环科技始终致力于大数据技术的翻新以及大数据技术人员的造就。TDH 通过 9 年的迭代，曾经获得了肯定技术的积攒和行业教训，此次星环科技新推出 TDH 社区版，为企业用户、高校师生、科研机构以及其余业余开发人员提供更轻量、更简略、更易用的数据分析开发环境。社区版提供星环最具竞争力和最成熟的 Inceptor 组件、Waterdrop 等自研开发工具以及 Hadoop 3.0 和星环科技的精选组件服务等，为用户构建批处理数据仓库、数据湖等提供平台反对。TDH 社区版同时具备轻量资源即可高效部署，简略易用，便捷运维，以及性能优异等长处。
为满足多人群需要，TDH 社区版分为订阅版和免费版。其中订阅版面向企业级用户，无节点容量限度，能够提供更高级别的技术支持、业务规模反对和业务场景反对；免费版面向科研机构、高校教师、开发者、集体爱好者，收费提供 4 节点、10TB 容量反对，可进行百亿级别的数据处理，利用于学习、教学、科研等场景。自诞生以来，TDH 助力数千家企业打造了对立的、高性能大数据平台，为企业建设数据湖、数据仓库、数据中台等提供平台撑持，为企业数字化转型助力。星环科技将继续自主研发与技术创新，强化大数据平台对立多模型解决能力、高性能、易用性、可靠性、和安全性，为外围根底软件国产化，为企业构建数字底座，为大数据社区与人才培养提供当先的技术力量，施展大数据技术更大的价值。
