共计 2829 个字符,预计需要花费 8 分钟才能阅读完成。
少数企业都意识到数据的重要性,都心愿利用数据来驱动业务倒退。但常常会听到这样一句话:“咱们企业当初业务都还没做起来,连数据都没有,还不到思考数据利用的时候。”这句话在某种程度上代表了一部分企业对于数据利用的认知,即数据利用从先有数据开始。而数据是在利用建设后存到数据库里的,所以先建设利用,而后等数据库里有了数据后,再思考如何利用数据。
听下来,这个逻辑完全正确。但其实这就是很多企业对于数据利用的误会,即先建设利用,再思考数据利用。如果用这样的思路建设,过了一年当前,这个企业就会立即提出新的问题:“多个利用零碎之间的数据打不通,对不齐,不统一,数据用不起来。”这种误会,从根本上说是没有充沛了解数据利用的两个实质。
建设方法论
第一,数据是客观存在的,不取决于企业建不建设利用。
一个企业,只有业务在运行,哪怕没有建设任何零碎,数据都在实时产生,只是没有把它采集起来而已。
数据是业务在数字化世界里的原子,业务流程和行为会时刻产生各种数据,而不是必须要建设利用数据才产生。
举一个例子,当快递员接到一个快递订单的时候,发件人、收件人、货物类别、发货地、运输工具类型、间隔等数据就曾经产生。
信息化零碎的反对只是扭转了这些数据的记录和传递的伎俩,是一张纸还是一个网络而已。这些数据是客观存在的,不会因为信息化零碎自身而扭转。
企业要从实质上意识到,数据是业务在数字化世界里的投影模型,它是业务的镜像,是客观存在的。只有有业务,那么就存在对应的数据。利用只是把数据通过软件采集到存储设备里而已。
第二,数据利用的布局要早于利用和流程的建设。
在建房子之前,要做整体设计,布局各种利用场景,只有这样能力设计出一个合乎预期的房子。
当初,每个企业都意识到,数据是企业的外围资产,利用是采集和利用这些资产的工具。
为了数据在采集后失去充沛的利用,每个企业必须在布局利用和流程之前,实现数据利用的布局。
这就包含企业的数据资产目录的布局,数据利用场景的布局,数据存储的布局,解决剖析数据的技术平台的布局等。
企业构建数据驱动的架构体系,既是一个技术工作,也是对企业组织和文化的升华。
企业进行顶层设计,须要从一把手的视角进行布局,看到整个企业的痛点,买通企业经营的七经八脉。倡议企业在组织上配套建设平行于 IT 的数据管理组织,赋予组织更多的估算和决策势力。
数据管理组织不仅要承当企业数据驱动的技术和业务落地,同时也要推动企业数据驱动的文化建设,帮忙业务部门在决策上基于数据“谈话”。
在布局、组织、文化上的思路对立后,一般来说企业数据驱动的转型和执行就不会有大的偏差。在施行上抉择更靠谱的供应商,更先进和更凋谢的技术,能够帮忙企业少走弯路,直奔指标。
在做数据我的项目之前,企业首先要找到一套合乎本身个性的建设方法论,能力不走弯路,不掉入中台我的项目施行的“陷阱”。
用友汇合了多年信息化倒退教训,总结了一套适宜大中型企业的数据中台布局方法论。
联合数据中台我的项目的核心内容,企业能够制订正当的建设计划。
(1)数据资产治理。盘点数据资源、布局数据资源、获取数据资源,并将所有资源进行残缺出现。企业可依据数据资源布局报告领导后续数据治理和数据资产治理平台的建设,最终服务于企业数据利用场景。
(2)数据管理剖析平台的搭建。依照数据资产梳理后果,落地搭建企业级的大数据平台,获取相干的数据,并搭建相应的技术平台。
(3)数据指标体系的建设。对用户、产品、客商、营销等各主题域进行标签提取,将其特色数字化,为后续进行精准营销和客户画像提供必要条件。搭建企业标签体系,着重剖析以后须要然而无奈获取的指标,形容应用不便的指标,剖析问题起因,绘制数据供应链条。
(4)数据治理。从根底数据、业务数据、大数据视角综合剖析以后的数据品质问题,建设相应的组织、设定相应的流程,对数据资产进行治理。
(5)数据可视化利用。基于以后内部数据、IoT 数据、非构造和半结构化数据进行大数据利用的布局,并论证实现过程和老本评估。数据可视化利用一旦评估通过能够帮忙企业进行大数据利用的残缺开发和落地。数据可视化利用能够形容数据背地的价值,在最短的工夫内用最具冲击力的视觉语言,将企业最重要的数据 / 信息传递给最重要的人。
技术架构
数据中台应该采纳什么样的技术架构?
首先,要充沛意识到数据中台是一个企业加工生产数据的业务零碎,不是一个传统意义的技术平台,而是一个生产零碎。
它的生产资料是数据,它的产品是对业务产生洞察和价值的服务。这跟企业的业务指标、行业畛域、文化构造、流程体系等因素严密相干。
所以数据中台肯定不是一个能够一次性购买部署的套装软件,它是一个为企业的业务指标服务量身定制的零碎。
其次,它严密跟随着企业的业务策略,所以它是一个演进式架构,在不同的阶段、不同的畛域,会采纳不同的技术选型。
从用友的实际来看,企业的数据系统,正从原来数据仓库的关闭架构走向凋谢架构。
企业的数据中台是开放平台,是一个建设在演进式架构之上的开放平台。传统数据仓库架构已不能满足企业数智化转型的需要。
企业在数据利用上出现“五大转变”,从统计分析向预测剖析转变、从单畛域剖析向跨畛域剖析转变、从被动剖析向被动剖析转变、从非实时剖析向实时剖析转变、从结构化数据向多元化数据转变。
并且企业对对立的数据中台有强烈诉求,对数据中台的运算能力、外围算法及数据全面性提出了更高的要求。
数据中台的技术架构在发生变化。
一是以 Hadoop、Spark 等分布式技术和组件为外围的“计算和存储混搭”的数据处理架构在成熟,它们可能反对批量和实时的数据加载及灵便的业务需要。
二是数据的预处理流程正在从传统的 ETL 构造向 ELT 转变。传统的数据仓库集成解决架构是 ETL 构造,这是构建数据仓库的重要一环,即用户从数据源抽取出所需的数据,通过数据荡涤,将数据加载到数据仓库中去。
而大数据背景下的架构体系是 ELT 构造,能够依据下层的利用需要,随时从数据中台中抽取想要的原始数据进行建模剖析。用友数据中台技术架构如图所示。
数据中台在整体技术架构上采纳云计算架构模式,将数据资源、计算资源、存储资源充沛云化,通过多租户技术进行资源打包整合和凋谢,并通过微服务的形式为用户提供“一站式”数据服务。
数据中台不是一套软件,也不是一个信息系统,而是一系列数据组件的汇合。
企业基于本身的信息化建设根底、数据根底及业务特点对数据中台的能力进行定义,最初基于能力的定义并利用数据组件来搭建本人的数据中台。
技术栈
理解数据中台技术架构每个局部的地位、性能和含意能让企业更好地理解数据产品的范畴和边界,技术实现的成果和更好的实现形式。
另外,很多技术的设计理念对认知世界、理解简单零碎也有所裨益。
一般来说,从数据中台的角度,咱们将数据整个链条辨别为四个环节:数据采集 & 传输、数据存储、数据计算 & 查问、数据可视化及剖析。
数据中台技术堆栈框架如图所示。
本文摘自《数字化中台》一书,更多对于企业级数据中台的建设问题请浏览此书哦!