关于大数据:自主研发自主可控星环科技魔方底座全面升级

39次阅读

共计 6884 个字符,预计需要花费 18 分钟才能阅读完成。

2021 年,星环科技“魔方底座”在世界人工智能大会上公开亮相,展示了依据业务场景需要,进行技术计划重组的能力。4 月 19 日,在 2022 秋季新品公布周上,星环科技全面降级数字底座,对旗下大数据与云根底平台、分布式关系型数据库、数据开发与智能剖析工具的全线产品进行降级,多款新产品集中亮相。

星环科技围绕数据的集成、存储、治理、建模、剖析、开掘和流通等全生命周期的根底软件及服务陆续退场,包含星环大数据根底平台 TDH 9.0、星环数据云平台 TDC 3.0,星环分布式剖析型数据库 ArgoDB 5.0、分布式交易型数据库 KunDB 3.0、星环分布式图数据库 StellarDB 4.0,星环大数据开发工具 TDS 2.3、星环智能剖析工具 Transwarp Sophon 3.1 等全系列产品相继亮相。

除此之外,星环科技新增了数据安全治理平台 Transwarp Defensor,降级了联邦学习平台而推出的隐衷计算平台 Transwarp Sophon PC,以及保障数据流通平安的星环数据因素流通平台 Transwarp Navier,以及星环数据交易门户 Transwarp Datamall 等。

以数据连贯所有,在不确定性的环境下,目前惟一能够确定的就是企业的数字化转型。星环科技通过数据全生命周期的根底软件与服务,为组织搭建数字化转型的数字底座,满足用户多方面数据智能需要,助力各行各业企业数字化转型。

大数据与云根底平台:智能、平安、便捷、稳固

星环科技企业级一站式多模型大数据根底平台 Transwarp Data Hub(TDH)提供大数据存储、大数据分析、实时计算、综合搜寻、数据挖掘等根底能力,为企业建设数据湖、数据仓库、数据中台提供平台撑持,为企业数字化转型助力。

而新推出的星环 TDH 9.0 在四个方面进行晋升:

一是多模型能力再降级。基于多模型对立架构,TDH 9.0 全新推出文档数据库 DocStore,提供 XML/JSON 等文档数据技术撑持。同时关系型剖析引擎 Inceptor、图数据库 StellarDB、搜索引擎 Scope、键值数据库 Keybyte、时空数据库 Spacture、时序数据库 Timelyre 等产品也迎来年度重磅降级,性能和性能全面晋升,基于对立架构提供的十种数据模型组合能够一站式帮忙企业买通大数据业务全场景。

二是大数据根底底座实现降级。对立分布式数据管理系统 TDDMS 和分布式文件系统 TDFS 提供更稳固的小文件治理能力和拜访性能,晋升了存储规模和可靠性,保障数据安全不失落,提供更巩固的大数据底座根底。同时元数据服务降级,基于星环分布式交易型数据库 KunDB 提供更高性能、更加稳固的元数据处理服务。

三是运维加强、平安加固。TDH 9.0 新增智能运维模块,联合大数据技术特色与最佳实际,基于智能运维规定匹配库判断,提供集群改善运维倡议,帮忙用户更轻松地运维大数据平台。搭载新一代大数据安全套件与容器平安网络,进步了集群网络可用性、安全性和可靠性,为用户数据全生命周期提供平安防护。

四是社区版全新公布。新推出的企业级一站式大数据根底平台 TDH 社区版让大数据分析触手可及。社区版提供星环最具竞争力和最成熟的 Inceptor 组件、Waterdrop 等自研开发工具以及 Hadoop 3.0 和星环科技的精选组件服务等,为用户构建批处理数据仓库、数据湖等提供平台反对。TDH 社区版同时具备轻量资源即可高效部署,简略易用,便捷运维,以及优异性能等长处,大幅升高总领有老本,为用户提供更轻量、更简略、更易用的数据分析开发环境。

为满足满足多人群需要,TDH 社区版分为订阅版和免费版。其中订阅版面向企业级用户,无节点容量限度,能够提供更高级别的技术支持、业务规模反对和业务场景反对;免费版面向科研机构、高校教师、开发者、集体爱好者,收费提供 4 节点、10TB 容量反对,可进行百亿级别的数据处理,利用于学习、教学、科研等场景。

而在国内首推数据云概念,并首先实现大数据 + 云 + 人工智能三者胜利交融的星环科技数据云平台 TDC,为企业数据安全和多云数据平台建设提供一站式服务。

新推出的 TDC 3.0 反对星环全系产品新版本,同时 PaaS 能力继续加强,能够更不便地利用星环的产品构建湖仓一体数据湖、数据中台、数据迷信等数字化场景。

TDC 3.0 反对联邦云,实现了多集群对立治理和联邦租户。TDC 联邦云是指将跨地区、跨数据中心异构基础设施部署的多个 TDC 集群,通过 Galaxy 多云治理服务模块造成对立的治理视图,进而实现跨地区、跨多个数据中心基础设施的对立的数据云平台(TDC 联邦云)。

TDC 联邦云外围能力及场景包含多云异构基础设施资源对立治理,反对多租户经营模式;跨数据中心或云的 DevOps、微服务和数据库服务;反对星环分布式交易型数据库 KunDB 的跨数据中心部署和同城容灾;反对企业 IT 基础设施资源的对立运维和弹性伸缩;在企业公有基础设施资源有余时能疾速补充,以应答业务负载疾速变动对基础设施资源的需要。

TDC 3.0 反对隐衷计算区,提供了联邦学习和可信计算套件,并联合自研的微隔离案区技术,一站式满足企业的联邦学习和数据沙箱场景。

隐衷计算区是 TDC 平台通过多租户模式提供的,为数据供需双方提供的多个私密、隔离、平安的数据交付环境。通过网络拜访、权限管制、全流程操作审计等平安保障,数据供需双方在隐衷计算区内进行数据交易的交付,满足政策合规、数据安全的要求。

分布式数据库:自主研发,疾速实现国产化代替

低廉、专有、厂商锁定、扩容慢······传统商用数据库的泛滥弊病始终为宽广用户所诟病。

面对传统数据库的一堆噪点,中国数据库市场正迎来一个全新的格局,国内云服务商、创新型企业引领倒退,数据库产品百花齐放的格局。

以星环科技为代表的创新型企业,正在借助云原生能力、分布式技术,联合本身技术研发实力和宽广合作伙伴与用户的一直实际,开始进入金融、政务等龙头市场,代替国外的数据库产品。

在泛滥的数据库中,分布式数据库因具备程度扩容、高可用等重要个性,能够解决高并发吞吐、海量数据存储、大表瓶颈等数据库难题,受到市场的青眼,助力企业减速实现业务数字化转型。

星环科技基于新一代的分布式技术,自主研发了高性能分布式剖析型数据库 ArgoDB 和分布式交易型数据库 KunDB,并将其联合打造了一体化实时 AETP 技术,在一个数据库系统里同时撑持交易与剖析混合型业务场景,助力数据库国产化降级。

新公布的 ArgoDB 5.0 实现了存算引擎双降级,打造高性能湖仓集一体化多模型数据库。

星环 ArgoDB 分布式剖析型数据库,能够代替 Hadoop+MPP 混合架构。反对规范 SQL 语法,提供多模剖析、实时数据处理、存算解耦、混合负载、数据联邦、异构服务器混合部署等先进技术能力。通过一个 ArgoDB 数据库,就能够满足数据仓库、实时数据仓库、数据集市、OLAP、AETP、联邦计算等各种需要。

ArgoDB5.0 打造了新一代向量化计算引擎和多模型存储引擎,在性能上有大幅度的晋升,尤其是 OLAP 剖析场景下的性能晋升,无论是单表查问还是多表关联场景,ArgoDB 都具备有显著的性能劣势,整体上是同类数据库产品的 2 -10 倍,帮忙用户更快、更稳固地应答复杂多变的业务需要。

在多模能力方面,ArgoDB5.0 新增对半结构化的 JSON/JSONB/XML 数据类型的反对,满足了更多数据模型解决场景和更多简单业务需要。同时,ArgoDB 5.0 进一步增强了对多模态数据的解决能力,让数据处理更加快捷和高效。通过一个数据库就能够满足更多数据模型解决场景和更多简单业务需要。

同时,ArgoDB5.0 引入 DP-SQL 能力,实现对数据的隐衷爱护,满足数据公布、流通、脱敏、查问、交易等场景下的数据安全要求。

在平安方面,ArgoDB 还增强了数据备份性能,通过更细粒度、并行化和更加疾速等个性,进一步晋升数据安全保障能力。

此外,ArgoDB 5.0 进一步增强数据湖和数据仓库 / 数据集市等业务面的技术革新,加强湖仓集交融能力,通过对立拜访接口、对立存储、对立元数据管理等能力,真正意义上为用户提供湖仓集一体化的场景解决方案。基于 ArgoDB 打造的湖仓集一体化计划能够无缝连接 AI 技术,帮忙业务开掘更多数据价值。

KunDB 3.0 高度兼容 Oracle 语法和 PL/SQL,实现 OLTP 数据库国产化降级。

星环 KunDB 是星环科技基于分布式技术自主研发的国产化分布式交易型数据库,提供残缺的关系型数据库的能力,并且具备可扩大、高并发、高可用、数据灾备等个性,实用于以金融为代表的各行业信息化、数字化零碎建设。

KunDB3.0 高度兼容 Oracle 对象与语法,基于翻新的过程语言编译技术,残缺反对 Oracle PL/SQL 语法,大大降低企业国产化迁徙老本。

通过丰盛查问优化规定和算子进一步加强查问优化器,TPCH 子查问性能相比于 KunDB2.0 均有大幅度晋升,最高晋升了近 20 倍。联合全新的向量化执行引擎使得剖析性能性能较 MySQL 最高优化 80 倍。

在事务处理能力方面,相较于 KunDB2.0 采纳的全局事务管理器 GTM 计划,KunDB3.0 采纳基于 TSO 的全新分布式强统一事务处理框架,进一步晋升分布式事务处理能力,事务处理下限达 300 万 TPS,较 GTM 计划晋升 6 倍,超过电商双 11 交易峰值的 10 倍。

同时 KunDB3.0 也对存储层性能和分布式架构做了继续优化,单机 TPCC 晋升了 1 倍,分布式 TPCC 晋升了 60%。

在容灾能力方面,KunDB3.0 优化了跨机房容灾架构,反对全链路高可用、一致性备份复原等能力,故障时可复原过来任意工夫点,充沛保障数据安全。

此外,KunDB3.0 采纳了基于剖析引擎加强分布式事务处理引擎技术(ATEP),大幅提高了 KunDB 的数据分析能力,通过一个零碎就能够同时提供高性能 AP 和 TP 服务能力,满足交易与剖析混合型业务场景。对于曾经部署了 ArgoDB 或 KunDB 的用户,能够间接降级到 AETP 数据库,无需革新业务和数据库的交互方式,实现疾速平滑降级。

目前,KunDB 3.0 领有代替 MySQL、金融级分布式数据库、代替 Oracle、HTAP 业务场景等典型的业务场景及能力。

星环 StellarDB 4.0 性能倍数晋升,万亿级图数据库开掘海量数据互联价值。

Gartner 预测,到 2022 年,图形处理和图形数据库的利用将以每年 100% 的速度增长,以一直放慢数据筹备工作,并使更简单和自适应的数据迷信成为可能。

而星环图数据库 StellarDB 则是脱胎于星环科技大数据平台,领有自主知识产权的行业当先的企业级原生分布式图数据库。

StellarDB 4.0 反对万亿边 PB 级数据量存储和近 30 种算法,在数据加载、查问和算法性能方面晋升了 2 -10 倍。StellarDB 数据加载速度是开源图数据库 Neo4j 的 2 倍,多跳查问性能是 Neo4j 的 50 倍以上,在 PageRank、强连通子图等罕用算法方面,StellarDB 性能是 Neo4j 的 6 倍以上。十亿级边 Twitter-2010 数据集下,StellarDB 更是体现出优异的性能,6 跳查问以及 LPA 算法方面实现秒级响应,Neo4j 均未在 30min 内响应。

StellarDB4.0 在易用上做了极大的晋升,新增建图、批量导入语法,以及对 Array、Decimal 高精度数据类型的反对,进步用户建图和导入效率,满足简单的数据类型要求。同时新增反对核心度类、社区发现类、类似度类、门路查找类等算法,为用户提供近 30 种算法反对。

在安全性方面,StellarDB 新增数据加密和数据脱敏性能,帮忙企业实现对敏感隐衷数据的牢靠爱护,并合乎肯定场景下的合规监管要求。同时新增反对标签 (Label) 和属性 (Property) 级别的权限设置,以应答更加细分的业务管理需要。

为了让用户更便捷、更高效的运维治理,StellarDB 在原有反对数据全量备份复原的根底上,新增增量数据的备份和复原,帮忙企业进步数据备份效率,满足企业提供不同场景的备份需要。同时 StellarDB 4.0 新增正本迁徙和存储配额治理等性能,保证系统稳定性。

此外,StellarDB4.0 新增通过 Kafka、Flink、Spark Streaming 等形式接入流式数据源,从而加强图的实时更新和实时查问能力,同时减少 MySQL、Greenplum 等关系型数据源,满足更多简单的业务场景。

StellarDB 4.0 能够利用与金融、政府、能源等外围场景。在金融,StellarDB 4.0 事项交易关系剖析、资金链路追踪审计、危险流传推演;在政府畛域,StellarDB 4.0 能够实现疫情流传路径分析、舆情流传剖析;在能源畛域,StellarDB 4.0 能够实现设施网络管理,故障信息流传剖析等。

数据开发与智能剖析工具:提供数字化转型的能源引擎

星环 TDS 的企业级数据开发与管控能力,联合 TDH 业界当先的多模态的大数据处理能力,可能晋升企业构建数据中台、数据仓库、数据湖等零碎的效率,更高效的实现数据的资产化和数据业务化。

星环大数据开发工具 TDS 也迎来能力全面降级,TDS 2.3 在原有十多款工具的根底上,新增三大组件:

星环科技数据服务平台 Midgard,提供数据服务开发、治理和利用的全生命周期治理,提供稳固、高性能、平安的数据服务能力撑持。

Midgard 的外围能力包含数据服务全生命周期治理,混合部署、弹性伸缩,基于数据服务的数据安全爱护,高吞吐、低提早、程度扩大,插件、适配器、接口模式提供扩展性等。

与竞争对手相比,Midgard 领有零代码疾速构建 API、对立的 API 治理、全方位平安防护、全拓扑监控等劣势。

数据标签平台 StarViewer,提供全面的标签体系搭建、治理、标签画像剖析,以及通过数据标签的模式升高数据获取门槛。

星环 StarViewer 领有反对体系化标签经营与管控撑持、多维度精准画像展现、自助式标签数据分析和下载、高性能标签构建和利用等劣势,让标签开发、利用流程中不同角色的用户简略不便的剖析和应用数据,让数据间接服务于具体业务。

TDS 数据商城 Foresight,提供面向业务用户的数据资产门户,提供高性能、流程化、平安化的数据共享平台,促成数据资产流通,实现企业内外部跨层级、跨零碎、跨部门的数据共享和业务协同提供根底撑持。

星环 Foresight 平台外围能力劣势包含全面的数据资产审核和流程治理,自定义门户编目能力,高性能数据流转能力,谨严的数据保护能力,针对不定的门户需要提供客制化能力,针对不同应用角色的性能界面等。

而星环智能剖析工具 Sophon 3.1,打造数据因素和计算智能、认知智能、感知智能、决策智能深度交融的新一代全链路 AI 底座。

作为星环科技自主研发的一站式智能剖析工具平台,星环 Sophon 推出 3.1 版本,可实现从计算智能、感知智能、认知智能到决策智能的数据全链路智能剖析。新版个性更优异,可笼罩多模态数据的交融剖析、保障隐衷的平安高效剖析等场景。

Sophon 作为数据因素的智能底座,笼罩数据分析建模全流程,提供剖析即服务的能力、数百种分布式机器学习算法、边缘计算能力,并领有多模态数据集成、交融和常识推理、数据因素流通的隐衷计算。

Sophon Base 数据迷信平台为解决企业级用户的 AI 模型治理经营(MLOps)难题以及 AI 可信和隐衷爱护问题。3.1 版本推出了 MLOps 中的两项重磅性能:对立 AI 模型仓库和可解释人工智能 (XAI) 模块;同时,基于 Base 优良的分布式计算能力,推出了全新的隐衷计算平台 Sophon PC。

星环科技推出星环边缘计算平台 Sophon Edge,一个笼罩全流程:数据 -> 模型 -> 利用 -> 闭环的边缘智能平台。Sophon Edge 平台负责“感知智能”场景,其中工业级边缘计算平台负责“物联智能”场景,一站式 AutoCV 模型生产利用平台负责“视觉智能”场景。

Sophon Edge 新版边缘计算平台提供了笼罩工业物联网、边缘计算、云边一体业务中两大新个性:全流程个性,提供数据到模型再到利用的全流程构建、公布能力;高效率个性,在数据到模型和利用流程之上的全流程疏导式和低代码式操作能力。

星环常识图谱平台 Sophon KG 是一款笼罩常识全生命周期,集常识的建模、抽取、交融、存储、计算、推理以及利用为一体的常识图谱产品。平台 3.1 版本反对低代码图谱构建、智能化常识抽取、多模态常识存储与交融、多模式常识计算和推理以及多维度的图谱剖析。除了具备上述的链路齐备性,平台还从业务场景登程,积淀了几个场景的图数据模型、规定模型和算法模型,能够帮忙客户疾速解决同场景下的业务问题。

以后新一轮科技反动和产业改革迅猛发展,动摇了企业数字化转型的信心。数据连贯所有,星环科技以引领行业技术倒退和助力各行各业数字化转型为使命,通过数据全生命周期的根底软件与服务,为组织搭建数字化转型的数字底座,保障数据的平安和顺畅流通,以自研技术和产品踊跃落地 IT 基础设施的国产化代替,满足用户多方面数据智能需要,助力各行各业企业数字化转型。

正文完
 0