关于数据库:星环科技多模型数据统一存储的大数据分布式存储平台方案分享

31次阅读

共计 2080 个字符,预计需要花费 6 分钟才能阅读完成。

数字经济时代,随着大数据、人工智能等新一代信息技术的疾速倒退与利用,企业的数据量出现爆炸式增长,数据结构也越来越多样化,对数据存储提出了更新的要求:数据结构多样化如表格类型的关系数据、半结构化的文档日志搜寻以及非结构化的图片和视频数据,多模型存储需要应运而生。非结构化数据的快速增长,对象存储的劣势逐步浮现,并要求可能低成本实现海量非构造数据的存储。此外,传统数据存储平台须要同时存储大文件和小文件,业务的高速倒退带来海量文件存储需要对存储平台提出了更高的性能要求。面对业务多样化对大数据存储提出的新要求,星环科技自主研发了多模型数据对立存储的大数据分布式存储管理平台,可同时满足多模型数据存储和海量文件存储等需要。基于多模型数据对立存储技术可实现 PB 级多模型数据对立存储,9 种存储引擎反对 10 种数据模型,轻松实现跨模型联结剖析,一站式满足企业业务各种场景。自主研发的分布式文件系统突破 HDFS 的存储瓶颈,实现海量小文件存储,可同时反对文件和对象存储,升高运维老本,并且兼容开源 Hadoop 生态,反对利用平滑迁徙。多模型存储星环多模型数据对立分布式存储管理

传统存储平台计划将多个模型存储系统进行组合,各繁多场景由各类专门数据库别离撑持,这类计划存在数据存储冗余、数据一致性治理难等问题,并且多套存储导致架构简单、运维老本高、数据跨库剖析难。星环科技多模型数据对立存储平台计划实现多模型数据的对立存储,基于对立多模型架构提供多模型能力。

星环科技自主研发的对立分布式数据管理系统 TDDMS,该零碎搭建了一个通用的分布式存储解决框架,提供了数据的散布治理、元信息管理、分布式事务、分布式一致性协定以及数据高可用保障。同时 TDDMS 反对接入不同的存储引擎,实现不同数据模型的存储。以后 TDH 分布式数据管理系统接入了 9 款存储引擎,反对 10 种数据模型的存储。用户不须要为不同模型建设独自的存储系统,而是通过对立的存储管理,升高了运维治理老本,也防止了数据孤岛。此外,分布式数据管理系统的插件个性,也不便后续业务的灵便扩大,能够依据须要灵便接入其余存储引擎,比方 TDH9.0 版本中,依据文档解决的新需要,新接入了文档存储引擎 DocStore。多模型反对基于对立多模型架构反对关系型数据存储、宽表存储、搜索引擎、事件存储、天文空间存储、图存储、键值存储、文档存储、对象存储和时序数据存储,共 10 种数据模型,满足企业各类业务场景。多模型对立存储不同模型数据基于星环分布式数据管理系统 TDDMS 对立存储对立治理,升高运维老本,防止数据孤岛。对立数据查问入口对立接口解决不同业务、不同模型数据,防止多个不同接口的不统一,升高开发成本,防止烟囱式建设。高牢靠、高容错基于星环分布式数据管理系统 TDDMS 实现对立数据多正本治理,数据一致性治理,保障数据安全。反对正本主动迁徙,主动修复,具备高容错性,保障服务高牢靠。海量文件 + 对象存储星环分布式文件系统

传统数据存储平台须要同时存储海量大文件和小文件。HDFS 文件存储容量受限,不反对海量小文件,须要额定搭建对象存储平台,多套存储运维老本高。并且 HDFS 依赖建设多个 Namespace 扩大文件存储容量,数据不互通,业务层须要随着扩容更改逻辑。星环科技自主设计研发了企业级分布式文件系统 TDFS,海量小文件存储无瓶颈,同时反对文件和对象存储,并且兼容 Hadoop 生态,反对利用平滑迁徙。

同时反对文件与对象存储星环分布式文件系统 TDFS 一套存储同时反对文件存储与对象存储,对立存储管理,升高运维老本海量文件存储 TDFS 撑持 10 亿以上文件数,PB 级以上存储容量,是开源 HDFS 数倍元数据管理能力自研元数据管理,基于 Raft 一致性协定保障元数据安全。反对小文件与小文件一起存储,无惧海量小文件,无需多 namesapce 拆分生态兼容兼容开源 Hadoop 生态,反对 HDFS API 与 S3 接口,撑持利用平滑迁徙企业级一站式多模型大数据根底平台 Transwarp Data Hub

Transwarp Data Hub(TDH)是星环科技自主研发的企业级一站式多模型大数据根底平台,其当先的多模型技术架构提供对立的接口层,对立的计算引擎层,对立的分布式存储管理层,对立的资源调度层,以及异构存储引擎层。9 种异构存储引擎能够反对包含关系表、文本、时空天文、图数据、文档、时序等在内的 10 种数据模型。存算解耦个性反对弹性扩大,让资源配置更灵便。

TDH 可能存储 PB 级别的海量数据,同时可能提供高性能的查问搜寻、实时剖析、统计分析、预测性剖析等数据分析性能,被广泛应用在离线数据批处理、高并发的在线数据服务、数据集市、数据仓库、数据湖、图存储剖析、空间数据存储、实时数据处理等各类大数据业务场景。目前 TDH 曾经在政府、金融、能源、制造业等十多个行业内落地,能够代替 Oracle、IBM DB2、Teradata 等传统支流数据库在剖析型场景中的利用及代替 Elastic Search 在分布式搜寻场景中的利用,帮忙企业,更全面、更便捷、更智能、更平安地使用数据,减速企业数字化转型。

正文完
 0