编者荐语:“数用一体”、“数用拆散”有何差异?“数”、“用”两字具体怎么了解?架构抉择两者优缺点? 全网 30 万 + 粉丝的技术博主「不吃西红柿丶」前来解答,以 smardaten 平台为例深扒两者架构之差,上述所有问题全文干货解答,你离看懂只差这篇文章!
1 数用拆散为什么不适宜古代技术利用模式了?
🍎1.1 信息化后期阶段数用拆散的价值
数用拆散是很多公司数据与技术利用模式,把各种业务子系统的数据抽出来,放到一个数据平台上,而后在平台上把它治理好,同时再把这个平台凋谢进去,给业务零碎去应用。把数据作为一个独立的一个单元去解决,跟利用不要那么紧耦合,它能够更好的去复用或者更好的去在各个中央共享。
过来信息化根底建设阶段,首先是要建设业务零碎,保障业务实现线上化,因为数据量较少、业务变更频率低,这种模式是符合实际需要的。
但在这外面存在很多问题和门槛:
零碎数据从哪来?如何治理好又回归到业务零碎?这两头会有很多窘境和理论面临的问题,比方须要协调很多厂家做对接,平台自身不懂业务时如何做治理?纯正的通过数据属性的形式把数据治理好,其实很难的。即便在这个平台外面把它给治理好了,要谁来用?应用的一方怎么去用这个平台?怎么去凋谢?如何协调这几者之间的关系?
数字化减速的明天,当初的企业组织谋求更高的效率,数据要能疾速在业务中利用起来,所以数据要实现贯通、流程都拉通。在这种状况下,咱们才有可能去实现数据驱动业务。
🍐1.2 数字化效率放慢的背景下,数用一体或是新模式
弱化大数据平台建设过程,然而保留大数据平台自身,那么业务零碎再去构建、革新、降级的时候,大数据平台可能把业务零碎数据资产化这个过程,颗粒度变得越来越小一些,平台建设的门槛就会变得低一些。客户两头的需要发生变化,表构造都产生了很大的变动,而后零碎可能疾速的响应客户,积淀下来的数据变成了资产可能再应用。
同时,利用零碎自身产生的数据马上能进行资产化、疾速利用,将来还能够用这些数据再进行开发更好的新的利用,周而复始这么去做。积淀的目标是为了再利用,如果积淀下来的内容很难被利用,或者说须要独立去宰割化治理,而不理解业务需要,其实就是节约,节约一台服务器。
要想存下的数据要可能被下面所接触,就要有一些很不便的办法和工具,让它更低门槛中央便咱们去应用这个数据。那么可能是无代码组装工具,这是最快搭建业务场景的形式。这样,数据和业务会人造连贯。有新的业务零碎要做时,在这里持续组装,而不必改变数据平台或构造。达到一种数据与业务的均衡。
🍊1.3 数用拆散与数用一体比照模式
具体看,数用一体和数用拆散有何差异?
在传统产品的拼凑模式中,人力资源管理系统 HRM、企业资源管理零碎 ERP、客户管理系统 CRM 零碎等等,都是齐全互相独立的,不可避免的将会带来以下害处:
数据孤岛:不同子系统之间数据格式、规范、存储形式等存在差别,难以实现数据共享和替换,导致数据孤岛。
信息不统一:因为各个子系统之间信息孤立,可能会呈现雷同信息在多个子系统中存在且内容不统一的状况,导致信息不统一。
统计分析艰难:因为数据无奈共享和替换,企业难以对整体经营状况进行全面统计分析和评估。
效率低下:因为各个子系统之间不足协同配合,须要人工染指进行数据传递和解决,导致效率低下。
难以扩大:当企业须要引入新的子系统时,往往须要进行大量的接口开发和数据转换工作,减少了开发成本和工夫老本。
数用一体架构不同于传统产品的拼凑模式,而是对各子系统进行集成化的治理建设,通过集成各个子系统并实现数据共享和替换,能够进步企业经营效率、升高治理老本,并为将来扩大打下良好基础。当有新的零碎建设时,只需纳入幅员即可。
其中,想要达到这样“数用一体”的成果,最要害的是,两头平台反对数据连贯性应用,业务上也须要有绝对统一的数据结构与管理模式,这样能力积淀统一的、可对立治理的数据,所以下层利用开发的模式和利用能力构建也是统一的。
就须要一套能让数据接入、存储、数据管理、剖析和利用都能一体化实现的平台。上面以数据驱动的企业级无代码软件平台 smardaten 为例,对数用一体开展解说。
🍌2 smardaten 数用一体的架构
🍉2.1 smardaten 数用一体架构组件和特点
相似于传统的数据中台的概念中,数据是 all-in-one 中台。smardaten 数用一体架构中包含 3 大块,数据管理模块、数据分析可视化模块和无代码利用开发模块。
数据底层治理模块肯定水平上承当数据中台的作用,数据管理模块包含数据接入、数据荡涤集成、数据血统、数据品质、数据规范等等,实现了数据从产生到利用的全生命周期治理。简略来说,就是比中台的数据接入环节再往前走了一步,把数据产品治理起来;也往后走了一步,生成和剖析报表拜访等行为相干数据等。
但与数据中台有最大的不同是,它不会与利用零碎离开,不是各自独立的架构、技术模式,相互须要接口去对接。这 3 块是连通的,加上数据分析可视化模块,另外还有无代码利用开发模块。
你能够有多种了解,让无代码开发出的利用产生的数据间接寄存在数据管理模块进行治理、导入数据分析可视化模块进行剖析决策,反过来,你做好数据对接与治理、甚至也做好了一些业务数据分析,这时候,你能够搭建一个业务利用零碎,数据资产也好、报表也好,能够间接导入去撑持业务。这么双向来回,数据与利用就是一体的。
🍓2.2 smardaten 平台的“数”
smardaten 平台中数据是贯通整个应用过程的,若只从数据层面看,集数据连贯、IoT 设施采集、数据规范、数据品质、数据集成、数据安全、数据服务等比拟全面的数据资产治理能力。
🍈2.2.1 数据接入
会集来自不同起源的结构化和非结构化数据,并将其转换为可解决格局。
反对 30 多种数据源的接入,包含一些关系型、非关系型数据库,支流国产化数据库,以及一些文件、媒体数据。
传统关系型数据库:Oracle、MySQL、SQLsever、DB2、Sybase…
非传统型数据库:InfluxDB、Redis、MongoDB、CouchDB…
图数据库:Neo4J、TigerGraph…MPP
数据库:Greenplum、DorisDB、Clickhouse Hadoop
生态 (数据源):HDFS、Hive、Hbase
国产数据库:GaussDB、达梦、金仓文件数据:CSV、EXCEL、ACCESS、特定格局 (TXT、log、json)…
多媒体数据: 视频、音频、图片… 其它数据: 钉钉、企微、飞书、API…
另外,很特地的是,这里反对 IoT 物联网数据的连贯,自带了 8 中预置接口协议,面向宽泛的物联网终端,反对大多数物联网 IOT 终端感知设施的数据对 接,满足物联网发展趋势下多场景下的数据实时 / 准实时采集需要。
🍒2.2.2 数据集成
反对疾速数据荡涤、计算解决,并且是拖拽式的,是一个比拟全面的 ETL 工具,可能轻松实现数据疾速抽取、荡涤与加载。
内置海量算子:已预置 30+ 数据处理组件,例如:过滤、连贯、离散、格式化、类型转化等的,参数化实现数据处理操作。
跨数据源计算:反对跨数据库联结计算,无需数据迁徙,减速数据处理。业务逻辑与物理引擎隔离,保障计算引擎平滑降级
简单算法:多算子组合配置,算法模型开发人员可能实现建模过程,屏蔽传统简单的代码,实现建设疾速、高质量全程可见的算法模型。也能够将绝对应的解决流程封装为固定算子,开发畛域算法,缩小同类解决形式的重复构建。
🍑2.2.3 数据管理
数据目录治理:
对数据分目录治理,反对计数、行数、最近更新工夫、数据查问配置等,可增加变量和查看历史变动。
数据检索配置:可通过数据搜寻和按钮配置等,疾速实现数据查问条件配置,并配置不同数据展现模式。
血缘关系:反对数据处理过程的血统查看,追溯数据演变 与联结解决的数据链路,展现各阶段数据的更 新工夫、行数及状态信息。
数据安全保护:提供全方位的数据安全能力,包含数据加解密、数据隐衷爱护和数据溯源等。
🍍2.2.4 数据规范治理
按需要实现规范化术语形容和标准配置,确保数据合乎行业标准要求,提供对数据规范进行完整性、规范性、一致性、准确性的规定内容和稽核脚本治理,反对逆向反射解析数据源中数据,在不影响用户原有信息化零碎状况下实现元数据的抽取与治理。
🥝2.2.5 数据品质治理
以稽核工作包模式为次要载体,满足部门内数据治理小组依照数据规范维度,分批、重量的对部门内零碎数据项发展数据治理工作。依据稽核后果,零碎主动输入品质统计报表,对稽核后果数据依照不同维度进行提炼统计,反映零碎内目前数据总体品质程度。基于制订的数据规范,能够主动输入元数据的数据品质问题并以报告模式展示。
🥑2.2.6 数据服务
数据服务能力,次要体现在两个方面。一是服务编排和搜寻配置,构建多场景灵便的数据共享能力。二是数据服务监控与日志剖析,无效治理数据应用状况。
数据服务编排:数据服务场景下的交互动作编排,针对简单交互接口可实 现数据处理、变量管制等逻辑编排组合。
数据服务监控:对数据资产服务的应用排名、下载状况、API 调用等状况进行统计 剖析,对具体服务记录进行展现。
日志治理:对数据资产服务的类型、工夫、操作类型等进行全面记录,可追溯查问数据应用全责。
🍅2.3 smardaten 平台的“用”
数据管理能力有了,再看数据“用”的能力。在 smardaten 平台外面,次要包含数据分析与可视化,以及无代码利用开发。
2.3.1 数据分析与可视化
提供数据智能剖析工具,反对简单图表解决及数据字段钻取、标签、预警、变量、拆分、合并、统计等根底剖析能力,同时具备图谱剖析、时序剖析、预测剖析等智能剖析能力。
另外,数据大屏设计引擎就比拟厉害了,除了个别的二维数据信息展现布局,还反对三维场景开发,反对多种二三维 GIS 地图进行交互剖析,更反对大型 3D 模型导入,通过无代码去构建数字孪生场景。当然也反对 CSS 自定义个性化的展现款式。
🍆2.3.2 无代码利用开发
无代码利用开发也是最间接的“用”的形式,市面上很多低、无代码平台,大体逻辑是统一的。包含常见的表单、业务流程构建、权限治理等。
不过在 smardaten 下面,也有一些显著差别,比方利用构建中仪表盘的构建,除了失常的拖拽图表组件,还能够把数据分析模块中曾经做好的数据分析图表间接导入,甚至数据大屏也能够间接导入到利用页面中。
另外,像数据接入、数据集成、规范治理、品质治理、数据服务等这些数据类模块,都能够被独立组装到利用中。也就是说,能够依照客户需要从新组装轻量级数据中台、数据治理平台。
这是其余无代码平台不具备的,因为市面大多自身就没有这么多数据底层服务。
这也是为什么说 smardaten 是“数”、“用”一体,数据能力和业务利用是相互撑持、闭环的。
目前交付了很多行业级的数字化软件我的项目,因为平台自身没有行业属性,框架技术比拟凋谢残缺,实用于很多场景去做数字化业务综合能力构建。
🥒3 架构抉择,没有最好,只有最适宜
🥜3.1 从企业架构演进过程来看
回过头,咱们看看这些年,企业架构的演变大体上分为几个阶段:
第一阶段:
烟囱式建设
劣势:业务零碎具备较完整的业务逻辑,适宜绝对通用、业务模式稳固的业务
劣势:业务变动对系统的侵入性绝对较高
能力积淀和复用的工作容易被弱化
数据孤岛,数据难以被综合利用分
第二阶段:
裙楼式建设
劣势:
数据中台买通各个业务零碎数据
业务逻辑与数据服务肯定水平拆散,业务变动对中台的侵入性绝对较小
劣势:
数据中台大多只能用作数据提取,提取进去的数据只能用作经营剖析,数据价值难以被充分利用
第三阶段:
回廊式建设
劣势:
业务和数据能力积淀,业务利用与通用业务能力、数据能力拆散,业务变动对中台的侵入性绝对较小
劣势:
尽管有全局性的分层形象布局,但其本质并不彻底,特地是对于易变的业务何和突飞猛进的技术体系而言,须要付出额定的治理老本和更新迭代老本
传统的烟囱式、孤岛式零碎无疑曾经是被公认为过期的信息化建设模式;而基于整体规划的平台化建设计划,以及近年来热门的数据中台和业务中台,尽管有了全局性的分层形象布局,但其本质并不彻底,特地是对于易变的业务和突飞猛进的技术体系而言,须要付出额定的治理老本和更新迭代老本。
垂直式与烟囱式建设的比照:烟囱式建设是自下而上都采纳绝对独立的数据管理和技术框架体系的建设,而垂直式建设是在同一套数字化操作系统上专一面向垂直畛域业务逻辑和能力组件的系统化建设。尽管两种建设模式都可能实现特定业务的零碎建设,但如果想要实现业务零碎间的集成、交互和协同,前者须要付出额定的集成化建设代价,并且系统集成自身又是一个新的难题,集成化的成果更加难以确定。
而垂直式建设,是一种位于多维度联通体系空间内的垂直业务零碎建设模式,在这种模式下,后期不仅能够像传统烟囱式建设形式一样只专一于具体业务畛域的构建,同时又能在构建过程中主动积淀架构资产、数据资产、能力资产和利用资产,这些资产会在构建新的业务利用时开箱即用。
🥕3.2 smardaten 数用一体架构优缺点
从这个趋势看,smardaten 是合乎这个趋势的,甚至是比最新阶段还有一些变动,相似一种垂直式的架构,从业务构建和数据下沉治理的角度看,是纵向垂直的。而从数据资产、数据应用、业务能力模块的应用上看,又是横向对立的。
垂直式建设具备更多的良好个性,包含页面、组件、业务模型、数据资产的跨零碎复用,业务流程的跨零碎联通,角色权限的全局式治理。
不论横向还是纵向,数据和业务都是能继续积攒和扩大,对业务的倒退变动影响很小。
长处:
1. 数据能力比拟全面,数据以数据资产的模式进行对立治理并驱动下层利用的构建,通过平台构建的利用也会在运行过程中产生数据,积淀为数据资产,这样也能够防止过来多个利用造成的数据孤岛。
2. 平台蕴含数据、剖析、利用开发、二次开发、集成等多方面的能力,相当于集成了数据中台、BI 工具、低无代码开放平台等多种工具平台,实用于很多场景,对于要求不是特地高的客户,也节俭了专项平台的重复性开发和管理工作。
3. 平台整体上都是无代码、可视化的,应用上绝对比拟易上手。但因为性能多、甚至大量隐含性能,在应用上有肯定的复杂度。从性能上看,很适宜数据架构师、产品经理、数据分析师、施行交付人员去应用。
4. 因为所有性能都在同一应用程序中实现,因而部署和保护非常容易。因为没有额定的网络通信开销,因而能够取得更高的性能。
毛病:
1. 可扩展性:随着数据量的增长,smardaten 数据产生和利用一体的架构,须要动静减少硬件资源能力满足需要。面向老旧零碎的降级,只能基于原零碎进行集成,无奈在 smardaten 上进行扩大演进。
2. 安全性要求更高:因为所有性能都在同一个应用程序中实现,对安全性提出了更高的要求。
🥔3.3 数用拆散架构优缺点
从数用拆散的角度看,当然也是有本人的劣势和实用场景,当业务模式绝对固定,原有零碎利用成熟度较高,且有独立的且有肯定规模的 IT 团队的企业,特地是企业级外围业务,那么实用于数据拆散。
长处:
可扩展性强:能够依据须要对不同的层进行扩大和批改,而不会影响到其余层的性能。
安全性好:通过将应用程序分成不同的层,能够更好地控制应用程序与数据源之间的拜访权限,从而进步安全性。
易于分工保护:因为不同层之间的关系清晰,因而保护应用程序变得更加容易。
毛病:
实现简单:因为须要实现多个不同的层,因而数用拆散架构绝对于 smardaten 数据产生和利用一体的架构更为简单。
效率低:数据管理和业务需要剖析是分隔的,导致沟通过程繁琐简单。
数用拆散架构与利用模式下,通常很少有一个平台或厂商就能构建实现的,通常是一个数据中台厂商、报表剖析厂商、一个个 ERP、MES 等独立产品厂商,长期利用积攒的状况下造成的一种模式。
综上所述,两种架构各有优缺点,须要依据具体情况抉择适合的架构。如果数据量较小且满足企业小步快跑要求的同时,疾速建设可扩大便于利用的数据服务零碎,能够抉择 smardaten 数据产生和利用一体的架构;如果数据量超大,能够抉择数用拆散的架构。
任何技术、办法不可能永远正确,或者全副实用,没有永远的神。
起源:CSDN 博主「不吃西红柿丶」文章