关于大数据:TDS标签平台API平台数据共享平台助力数据运营平台建设

54次阅读

共计 4167 个字符,预计需要花费 11 分钟才能阅读完成。

企业数字化转型过程中每个阶段都会遇到诸多问题和挑战,在信息系统搭建上,晚期烟囱式架构建设导致数据无奈互联互通,造成数据孤岛,实现互联互通后又面临无奈治理数据资产、施展数据资产价值等问题。现阶段,随着业务复杂度的减少和信息技术的演进,数据和剖析成外围业务性能,又将面临短少高效、便捷以及多样化的数据获取渠道,导致下层数据分析利用无奈顺利和高效的发展。

针对上述痛点和挑战,星环科技在 2019 年推出了大数据开发工具 Transwarp Data Studio(以下简称 TDS)。TDS 是一套为企业提供一站式数据资产全链路管理的服务平台,TDS 包含数据数据开发、数据治理和数据经营套件 3 大应用场景套件和 9 个组件。近日,在星环科技 2022 秋季新品公布周上,TDS 隆重推出 2.3 版本,三大套件都有全新降级,其中数据开发套件减少了 SQL 审核功能模块;数据治理套件减少了智能对标性能;数据经营套件增强了大数据分析与服务能力,新交融了三个大数据分析与服务相干组件,包含数据商城 Foresight、标签平台 Starviewer 和数据服务平台 Midgard。

数据开发套件,助力企业实现数据统一化

数据开发套件蕴含:大数据整合工具 Transpoter、数据库在线开发与协同工具 SQLbook 和任务调度软件 Workflow,该套件作为星环科技大数据根底平台 Transwarp Data Hub 的生态开发利用工具,针对数据开发场景,提供数据集成、SQL 开发和任务调度的能力,帮忙企业将数据归集到数据湖仓,实现数据统一化的过程。在 TDS 2.3 新版本中,数据开发套件除了对已有模块进行性能,性能和稳定性增强外,针对数据开发场景的标准管控需要,减少了 SQL 审核功能模块。


随着企业大数据开发和利用场景开始进入“深水区”,大家开始关注针对数据开发和利用过程的管控能力,用以解决诸如 SQL 剖析过程中的数据安全问题、数据开发过程中的 SQL 布局和优化问题等。

针对上述需要场景,TDS 提供了基于 TDH 大数据根底平台的 SQL 审核性能,通过在 TDS 中应用自研的 DSL 语言自定义和治理 SQL 审核规定库,并在 TDH 的编译层和优化层对不合乎审核规定的 SQL 进行事先阻断,针对所有面向 TDH 的 SQL 申请进行审核和管控,标准 SQL 开发过程、进步 SQL 执行效率以及爱护数据安全。

数据开发套件外围劣势在于:

  • 以强制手段,对立 SQL 剖析和开发标准,提效数据开发和爱护数据安全;
  • 自研 DSL 语言,能够反对依据理论需要状况自定义审核规定;
  • 对立数据权限、数据库审计以及数据库内 SQL 调度,升高数据库管控老本。

数据治理套件,实现数据资产化

数据治理套件,针对企业过来信息系统烟囱式的构建形式以及数据开发和治理过程不标准的问题,提供数据治理能力,帮忙企业进行数据资产盘点、数据规范对立和解决数据品质问题,实现数据资产化的过程;

TDS 的数据治理套件是基于星环科技数据治理征询方法论的、一站式的面向企业各类信息系统的数据管控平台,集成元数据管理、数据规范治理、数据质治理量、数据权限治理等模块,提供全生命周期数据治理能力。

TDS 2.3 新版本针对数据治理场景的智能化需要,减少了智能对标性能。 TDS 数据治理套件提供了智能化数据治理能力,以数据规范对标为例,面对数千上万数据规范的对标工作,提供智能对标性能,为数据治理施行团队或者企业自有业务人员举荐高准确率的数据规范对标关系,大大晋升数据规范对标工作效率和升高落地门槛。

数治理套件的外围劣势在于:

能够事先通过 TDS 内置知识库,对行业文献、企业外部常识文档以及已有的数据规范、标规定内容,进行智能解析和常识积淀,扩充数据规范对标的撑持业务主题范畴,进步举荐准确率。同时,能够依据用户对举荐后果的断定行为对智能举荐算法进行自动化迭代和优化;
TDS 数据治理套件是一站式产品架构,由残缺的数据治理功能模块组成,并集成至对立平台中,各功能模块依据数据治理方法论有机的造成性能联动和流程,提供一站式工具利用体验;
TDS 数据治理套件提供基于星环科技大数据技术的数据治理工作执行能力,高效实现数据治理作业。

数据经营套件,助力数据经营平台建设

TDS 2.3 新版本的数据经营套件,增强了大数据分析与服务能力,新交融了三个大数据分析与服务相干组件,提供数据标签体系构建和自助取数,间接对接数字化转型利用的 API 开发和治理,并能将上述套件产生的数据产品在对立的共享门户中进行企业外部共享替换,将企业各类型数据资产以剖析、服务和共享的形式提供服务,施展资产价值,最终撑持数字化转型相干利用,实现数据业务化的过程,并提供数据资产共享交互,构建企业数据生态化,助力数据经营平台建设。

TDS 2.3 数据经营套件新交融的三大组件别离为:数据服务平台 Midgard、标签平台 Starviewer、数据商城 Foresight。

数据服务平台 Midgard

Midgard 能够为客户提供数据服务开发、治理和利用的全生命周期治理和稳固、高性能、平安的数据服务能力撑持,将多样化的数据转化为业务利用间接应用的数据资产,买通数据和业务之间的壁垒。

在产品外围能力方面,除了 API 自身的生命周期治理,Midgard 反对弹性扩缩容的高性能申请转发,接入平安和数据安全的数据保护双保险,并依据理论业务需要,提供以插件化、适配器、接口等多种对接适配形式的高度可扩大的凋谢架构,保障数据服务的高吞吐、低提早和程度扩大。

标签平台 Starviewer

数据标签平台 StarViewer,面向升高数据获取门槛的自助取数场景,提供全面的标签体系搭建、治理,标签画像剖析能力。StarViewer 能够通过业务化标签的交互模式帮忙客户升高数据分析和取数的门槛,让标签开发、利用流程中不同角色的用户简略不便的剖析和应用数据;

在产品外围能力方面,StarViewer 提供了体系化的标签经营与管控、多维度画像展现、自助标签数据分析和下载、高性能标签构建和利用,让数据间接服务于具体业务。

StarViewer 的两大外围劣势:

高性能的标签数据加工和剖析:反对接入支流结构化类型数据源进行标签加工、剖析和数据下载,基于星环自研数据库保障数据分析和加工性能
自助取数和数据分析:可视化实现自助取数和标签配置,零门槛实现标签的数据分析和数据共享。

数据商城 Foresight

数据商城 Foresight 是面向数据资产共享流通场景,提供数据资产检索、洞察、共享和流程治理能力。Foresight 通过提供对立的业务化格调的数据资产共享门户界面,上架企业数据资产以供数据消费者检索、洞察和申请,同时提供多种数据共享模式如下载、数据库间流转、API 等,并辅以可自定义数据共享审批流程、数据资产权限管控以及基于星环科技数据保护技术的数据共享形式,旨在促成数据资产平安流通,实现企业内外部跨层级、跨零碎、跨部门的数据共享和业务协同提供根底撑持;

在产品外围能力方面,Foresight 通过全面的数据资产权限治理和反对自定义的数据资产申请审批流程对整个数据资产共享流通流程提供平安爱护;同时对不定的门户需要提供包含门户设计、编目、流程等自定义能力和客制化服务并提供基于星环科技大数据技术的高性能数据共享流通服务。

Foresight 的三大外围劣势:

第一,高性能的数据传输和更新,在数据共享平台的业务流程中,次要波及数据流转的内容为已公布数据资产的定期更新以及用户驱动的数据共享工作,Foresight 基于星环科技大数据平台能力为上述流程提供高性能数据流转撑持;

第二,便捷易用的数据凋谢共享服务,Foresight 提供基于业务主题的自定义数据编目零碎和基于编目类别、标签、组织机构等多样化检索,疾速定位指标数据资产;

第三,数据共享过程中的数据保护,Foresight 反对针对指定用户、角色、工作区或者组织用户提供资源级粒度的数据资源平安管控策略;反对 26 种支流数据脱敏形式,依据数据分类分级状况主动适配加密形式。

基于星环科技产品的数据中台全景图


介绍完了 TDS 2.3 版本的全部内容后,咱们能够基于 TDS 在数据中台的全景图回顾一下 TDS 在企业数字化转型过程中表演的角色,首先面向源端业务零碎包含数据流引擎、关系型业务数据库以及半结构化、非结构化数据系统,TDS 数据开发套件通过数据加载和同步的形式将数据落地到数据湖或数据仓库,接下来通过在数据湖仓内进行 SQL 开发、建模和实时计算,并通过调度零碎将这些开发工作进行编排、调度和对立的跟踪运维治理,最终汇聚造成根底的数据资源在数据仓库对应层级内存储下来。

TDS 数据治理套件通过对立的元数据管理、数据规范落标和数据品质的把控的将这些数据资源转换为高质量、业务可用的数据资产。

TDS 数据经营套件基于星环科技大数据能力,对上述数据资产进行 API 以及数据标签的开发,产生的数据产品公布到对立的数据共享平台对外提供数字化利用和企业内资产流转。

最终 TDS 各个套件针对独立的应用场景如数据开发场景、数据治理场景或者综合性的数据中台场景提供一站式的产品平台撑持,与此同时,针对企业遇到的单个细分的需要场景如工作流调度、血统剖析、自助取数、数据服务或数据资产门户等,TDS 可反对任意组件组合的模式,提供产品能力服务。

抉择 TDS 构建数字化经营平台的四大理由

TDS 作为一站式的平台产品,各个组件模块整合至同一格调界面,造成对立的应用体验,基于星环科技施行方法论,针对业务需要场景提供跨组件性能联动和流程整合,造成 1 +1>2 的成果,打造残缺的企业级数据全生命周期的开发与经营平台。

其次,TDS 提供优良的团队合作能力:TDS 各个组件实现了全图形化的交互模式,升高应用门槛;作为一个 web 端的产品,TDS 人造反对多用户线上合作,对 TDS 全局对象进行对立的治理,包含权限、版本、行为审计治理等。

在技术架构上,TDS 引擎层采纳了分布式架构设计,可扩大服务,提供优良的平台性能,可反对最大 PB 级别数据量和日均 10 万级任务调度的数据平台建设。基于图数据库的反对百万级关系数据秒级查问的数据血统剖析。

最初,是智能化数据治理能力,TDS 构建智能数据资产模型匹配特定畛域和行业数据,反对智能化数据规范贯标、资产举荐、主动打标等进步施行效率的性能,同时能够进行常识积攒,智能化继续优化施行体验和进步施行效率。

正文完
 0