乐趣区

关于数据挖掘:MobTech观察-CSDN企业数字化转型如何提升段位杨冠军畅谈企业数字化前世今生

近日,MobTech 袤博科技合伙人、首席数据官杨冠军受邀撰写的文章《企业数字化转型的前世今生》登刊 CSDN 最新一期《新程序员 003:云原生和全面数字化实际》。该杂志由 50 余位技术专家独特创作,专一于为所有关注云原生和数字化的开发者们提供技术内容既有发展趋势及方法论构造,更蕴含了华为、阿里、字节跳动等 30 多家出名公司的云原生和数字化一手实战经验。

《新程序员》的前身是《程序员》,创刊于 2001 年的《程序员》曾陪伴了有数开发者成长,影响了一代又一代的中国技术人,成为了泛滥技术人的必备读物、从业指南。在 20 年的技术改革间,全行业的数字化过程也一直减速,《新程序员》应运而生。

文章中,杨冠军从数字化的基本「大数据」和「人工智能」两种技术的倒退登程,对数字化倒退的底层逻辑进行了粗疏的梳理,并深刻分享了企业数字化转型的「三步走」计划:数据买通与数据接入、数据处理、数据可视化。

以下是《企业数字化转型的前世今生》原文:

当初,直到现在,还有老板问我:“老杨,企业数字化转型到底是什么?”

我说:“老板,你这个问题很深奥,我来试着答复一下,所谓企业数字化转型就是把数据贯通到整个企业营运过程的始终,帮忙企业做到所有业务数据化,所有数据业务化。”

仔细的同学会说:“老杨,你这不是正确的废话么,这叫哪门子答复,这和没说有什么区别么?啥叫所有业务数据化?”

这事儿它的确不是一句两句能说分明的,且听我缓缓道来。

从“青铜”到“王者”,企业数字化也有段位

我先梳理下企业数字化的阶段吧,其实各个企业都始终行走在数字化的路线上,即便荆棘遍布,也从未停歇过,大抵能够分为以下四步。我先梳理下企业数字化的阶段

一、企业数字化第一步——青铜

通常认知下的企业数字化包含人事管理系统和财务管理系统,这是把之前的一些人、财的治理动作,通过流程标准固化到零碎中。但这样就够了么?显然是不够的。这只是企业数字化的第一步罢了,这样只是做到企业根本的治理动作可记录、可追溯、可掂量,大抵是“青铜”级别,离真正的企业数字化还差十条街的间隔。

二、企业数字化第二步——白银

但也有一些企业发现只进行人财的信息化治理还不够,还须要把身为“衣食父母”的客户和用户也管起来,于是“客户管理系统”和“用户管理系统”也登上了舞台。略微有点心的企业就会发现:诶,这些个零碎都是独自存在呀,不能串联呀,那是时候让“办公自动化”弹冠相庆了。但这就完事了么?显然并没有。这也只是企业数字化的第二步,这样只是把企业赖以生存的货色在零碎上治理起来了,大抵是“白银”级别吧,离企业数字化还差五条街的间隔吧。

三、企业数字化第三步——钻石

下面两步充其量能够归属在企业信息化的领域,整体上更并重过程,次要目标还是过程中降本增效。降本增效到肯定水平之后,天然就会有创收的需要,这是兽性使然。老板所谋求的“更高、更快、更强”其实是新的增长点,当一家企业主营业务步入正轨之后,老板就会不遗余力地去思考新的增长点,无一例外。因为大部分老板都深谙“生于忧患”之道。没有新的增长点就慌了。于是思考来思考去增长点无外乎两种:

1. 裁减主营业务的新门路

2. 开拓新业务

那通过什么伎俩呢?在这个数据、技术爆炸的时代下,除了数字化真的别无他法了,所以企业数字化也就呈现了。其中裁减主营业务的新门路的代表者就是苏宁,把线下批发间接搬到线上;而开拓新业务的代表者就是万达,不是革新本人的购物中心,而是做领取,做收单,做营销等软件系统。这两者没有优劣之分,只是投入和危险大小的却别(回过头去看,确实苏宁绝对持重点)。
但这就是企业数字化的齐全体了么?显然也不尽然。这也只是企业数字化的第三步,但却是具备划时代意义的一步。这是企业一号位从意识形态上曾经认定了数字化这件事儿,奠定了数字化成败的根底,大抵是钻石级别了,离“王者”只差一丢丢。

四、企业数字化第四步——王者

从数字化成长进去的新门路或新业务,从生产环节,到生产者,到生产办法,到生产因素,到生产物品都产生了天翻地覆的变动。这些都是传统的企业经营方式无奈企及的。它须要从企业治理、企业营运、企业决策等多方面进行根本性的数字化改革,这既须要一小撮能通过“加减乘除”和“统计分析”等根底数学知识去经营的事儿继续进行,也须要大多数必须通过“机器学习”和“深度学习”算法能力剖析进去的论断作为反对。从而让企业治理、企业营运和企业决策更加数字化。
当然这所有的前提是传输、存储、算力、算法等根底技术的长足进步。没有这些技术的提高,什么机器学习、深度学习都是空谈。这就实打实地走到了企业数字化的王者阶段。坦白讲,能达到这个水准的企业少之又少,几乎是“此企只应天上有,世间能得几回闻”的节奏。

仔细的同学会说:“咦,老杨,你说的一六八开的,那企业数字化到底是什么定义呀?”

嗯,孺子可教也,没被我给带偏。

你搞清楚“数字化”和“企业数字化”的区别了吗?

要搞清楚什么是“企业数字化”,首先要明确什么是“数字化”。

“数字化”是通过计算机技术,将事实世界产生的各种事件与虚构数字的表白连接起来,进而通过数据和算法推导出事实世界的深层次法则——各种靠常识和逻辑认知不到的法则。

那什么又是“企业数字化”?

企业数字化就是将企业治理、营运和决策中的教训、办法用数字表达出来,再通过数据和算法重构企业的商业模式 / 服务模式,使得企业经营全过程可形容、可掂量、可追溯、可预测,实现企业的改革式成长,造成全新的外围竞争力。

企业数字化是一个宏大的系统工程,它是把数据贯通到整个企业经营的始终,以客户和资产为核心,以生产环节和生产者为根底,通过数字化治理成长为数字化营运,并达到数字化决策的这一过程。最终达到所有业务数据化,所有数据业务化的后果(如图 1 所示)。

                           图 1:企业数字化逻辑

数字化治理:最容易疏忽的局部

数字化治理是最容易被忽视的局部,一来数字化治理练得是“内功”,他人看不到的货色往往没啥能源去做;二来数字化治理是个长线的事儿,短期内很难看到问题。但从过往的数据看,决定企业成败的要害往往却在数字化治理上,“修身齐家”之后能力“治国平天下”,本人都还没玩明确谈何其它呢?

数字化营运:最能产生成果的局部

数字化营运是最能产生成果的局部:一来营运占据了整家企业日常工作的八成——销售报表、销量预测、老本剖析、转化率剖析等环节,都能够通过数字化零碎来实现,而且比人力来做更加全面、迷信和精确;二来只有在营运数字化上投入精力,一张报表,一条曲线都能够映射到生产环节中,并失去验证,成果体现会十分快。

成果体现又多又快的事件上,天然会是资源汇集的中央。因而,一时间营销治理、商品治理、库存治理、仓储治理、供应链治理等平台如雨后春笋个别的呈现了。它们都是在数字化营运上发力,也的确拿到了很“爆炸”的问题。

数字化决策:最难的局部

数字化决策是最难的局部,一来很多大的决策都是管理者那一瞬间的灵光乍现,没有逻辑可言,所以很难去把它数字化或公式化;二来大部分决策都依赖于很多影响因子,但这些影响因子的数据又很难收集到,而通过数据和算法推导进去的论断,又大多是不可解释的,而不可解释的论断又很难去让人下决策,更难去压服团队贯彻执行。

然而,大伙儿逐步意识到数据自身就是资产,除了可能领导现有业务的倒退之外,数据还能够给企业提供更多的翻新,甚至是商业模式的改革。所以你会发现,尽管数据目前只是决策中的辅助伎俩,但数字化决策这件事儿是势在必行的。必须说一句:前途是光明的,但路线相对是波折的。

从“可选项”到“必选项”

古往今来,某个事物的呈现和倒退肯定要兼具天时地利人和。互联网的大规模倒退是因为个人电脑的遍及;挪动互联网的大规模倒退是因为智能手机的遍及;云计算的大规模倒退是随同着芯片、存储、机器、网络等硬件的遍及;大数据的大规模倒退是随同着计算、存储等资源的遍及;人工智能的大规模倒退是随同着算力、数据、算法的遍及。

那么企业数字化转型呢?当然也不会例外,它也有本身的“天时地利人和”。

企业数字化的“地利”说白了就是大数据和人工智能这两大技术的倒退,看懂了它们的倒退历程,也就明确了“地利”。

                         图 2:大数据发展史

请看图 2 的时间轴,2003 年、2004 年、2006 年,平凡的 Google 别离输入了 GFS、MapReduce、BigTable 三篇论文,被称为大数据的三驾马车,也不负众望地成为大数据的奠基之作。Hadoop 就是在三驾马车的启发下诞生的。Hadoop 具备以下 3 个特点:

1、Hadoop 参照 GFS 打造出 HDFS,它是一个运行在一般机器上的、可供大规模存储和拜访的分布式文件系统,是大数据存储的基石。使得大数据这件事件变得可行,在硬件老本上可控,在软件技术上可实现。

2、Hadoop 参照 MapReduce 打造出 Hadoop MapReduce,它是大数据分布式计算的一种形式,将大数据的计算工作先合成到多台一般机器上,而后进行合并失去计算结果。它是大数据计算的基石,使得大数据计算这件事件变得可行,在硬件老本上可控,在软件技术上可实现。

3、Hadoop 参照 BigTable 打造出 HBase,它是对底层的大规模存储和计算去进行应用的一个大表,毕竟表格是更合乎兽性的一种存在,能够认为它是 NoSQL 数据库的基石。

2006 年 Hadoop 翅膀逐步硬了,从 Nutch 中分离出来成为 Apache 顶级开源我的项目。从此以后,大数据相干的技术就如雨后春笋一样爆发进去,2008 年数据仓库 Hive;2010 年列数据库 HBase;2012 年资源管理器 Yarn;2013 年流式计算框架 Spark、Storm;2014 年实时计算框架 Flink。这些东东都让大数据产业失去长足进步。

这边厢大数据突飞猛进,那边厢人工智能也不甘示弱。

                         图 3:人工智能倒退

家喻户晓人工智能缘起于 1956 年达特茅斯大会,倒退至今也有五十多年了,能够说是经验了三起三落(如图 3 所示)。

第一阶段,20 世纪 50 年代到 60 年代是第一个高潮期,次要是以逻辑学为主导的定理证实。然而因为计算机能力的有余,以及过后的人工智能自身并不具备学习能力,20 世纪 70 年代迎来了人工智能的第一个低谷期,那么天然各种压力和经费问题也接踵而至,人工智能的前景也登时蒙上了一层暗影。

第二阶段,好在总有那么一小撮不按常理出牌的人持续保持钻研,大略蛰伏了 10 年之后,终于在 1980 年,卡内基·梅隆大学的第一套专家系统 XCON 诞生了。XCON 零碎到底每年能为企业节俭多少钱始终是个谜(最高的说法是四千万美元,最低的说法也有几百万美元),XCON 专家系统经验了近 10 年的黄金期,也是人工智能的第二个高潮期。然而随着第五代计算机的破灭,人工智能嘴里哼唱着“为什么受伤的总是我”,走进了第二个寒冬。

第三阶段,经验了两次低潮两次低谷,人们对人工智能的认知也回归感性和主观,同时大数据存储和计算能力也失去大幅晋升,人工智能技术也随之有了突破性倒退。于是乎,在 1997 年,终于有一个“像样”的人工智能产品问世了——IBM 的“深蓝”。其以不堪一击之势战败国际象棋世界冠军卡斯帕罗夫更是一个重要的里程碑,经验了两次低潮两次低谷两次蛰伏,人工智能终于进入了安稳倒退阶段。

明天,能够毫不夸大的说,一个不理解人工智能的程序员绝不是好程序员。为什么?上面来看一些事实:2006 年之后以神经网络主导的深度学习失去很大冲破;2016 年 Google 机器翻译准确率达到 87%;2016-2017 年,Google 的 AlphaGO 的惊艳体现;人工智能寰球市场规模达 2.43 万亿美金,而且以每年近 30% 的增长率在晋升;各大科技企业与人工智能藕断丝连的关系。这些事实无不表明人工智能基本上曾经熬出头了,将来要么做人工智能,要么被人工智能“做”。

大数据和人工智能通过 30 年的积淀积攒,基础理论和技术都已进入成熟期。整体上,大数据和人工智能行业也随之进入了高速发展期。随同着大数据、人工智能的倒退,之前肉眼凡胎齐全辨认不了的数据体量和数据维度,当初能够分分钟看懂。所以企业数字化转型这件事件也真的由不可能变成了可能,企业数字化也能够不再停留在简略的数据报表和统计分析了。

所谓“天时”,某种程度上能够认为企业数字化与“大数据、人工智能”划等号。据不齐全统计,从 2015 年到当初,国家颁布了不少于 20 项大数据和人工智能类的政策(如图 4 所示)。2015 年 8 月颁布了《促成大数据倒退口头大纲》,2017 年 1 月颁布了《大数据产业倒退布局 2016-2020》,2018 年 4 月颁布了《迷信数据管理方法》,2020 年 2 月颁布了《对于工业数据分级分类指南》,2020 年 5 月颁布了《对于工业大数据倒退的领导意见》,国家层面对大数据和人工智能的反对曾经非常明显了。

                          图 4:大数据类国家政策

国外也是如此,Yahoo、IBM、EMC、微软先后投入大量的资源去钻研及应用大数据和人工智能,也产出了诸多 Apache 顶级开源我的项目。国内的 BAT 们起步绝对较晚,其中 B 呢比拟浪漫,走的是先技术后场景的思路,搜罗了世界顶尖的大数据、人工智能人才,基本上造成了本人的大数据人工智能生态。A 比拟理论,次要把大数据和人工智能利用于电商、物流等批发服务为业务赋能。同时,还开启动了 NASA 打算。T 不紧不慢,次要聚焦在人才储备、算力、算法上。当然还有一些试图逆袭的有为青年,如语音辨认的讯飞,计算机视觉的商汤和旷视,以及智适应教育的松鼠教育等。确实称得上百花齐放,此处不得不感叹一番,要想追上大数据人工智能的脚步,确实得有两把刷子。

所谓“人和”,在与这次疫情暴发的背景下,各大企业都纷纷亮出数字化的能力,也做出了重大的奉献,但同时也发现了诸多问题。包含数据采集、数据处理、数据分析、数据利用等各个层面的问题。侧面验证了当下的企业数字化转型还远远不够看,须要大破大立,无论是企业的决策层,管理层和执行层也都意识到数字化转型的急切性和重要性。

瞧瞧,在“天时地利人和”的背景下,企业数字化转型再也不是企业的“可选项”了,而是“必选项”。通过数字化转型,企业在治理上、营运上、决策上都将辞别“拍脑袋”的日子,用数据来进行企业经营可保企业在竞争中立于不败。

企业数字化转型三步走

讲执行门路之前须要再次强调下,企业数字化转型相对是“一号位工程”。毫不夸大地讲,所有非一号位来负责的企业数字化转型都是“纸老虎”。

企业数字化转型的执行门路无外乎三步:数据买通与数据接入、数据处理、数据可视化。

数据买通与数据接入

为什么要把数据买通作为企业数字化转型的第一步?所有企业都是从信息化走过去的,信息化通常都是不同供应商提供的零碎,而这些零碎必然会造成一个一个的“烟囱”,这些烟囱中的数据都只是局限在某一维度上,不买通就没有方法进行多维数据分析,更不用说更为高大上的数字化营运了。

举个例子,某商业地产开发商的客流、车流、会员、店铺、商品等数据别离来自于不同的供应商。当初我想晓得哪些人喜爱去哪些商场买哪些商品,这个需要对于任何供应商来讲基本上都是不可能实现的工作,这时候数据买通就是必须的了。但千万不要认为数据买通就是简略地把各个供应商的数据集中到一个数据库中,这就太高级了。数据买通最为要害的是,用惟一的 ID 来标识数据,只有这个惟一 ID 准了,才可能晓得进场了多少人,以及每个人到底喜爱什么店铺和商品。

你可能会问:这个只是应用企业一方数据,少数状况下企业一方数据都不够用,必须与三方数据进行场景化交融,能力有更多的标签进行更深的剖析和论断输入,这咋办呢?总不至于用惟一 ID 去广大的数据陆地里捞吧?

这是个特地好的问题,而且其实是属于数据接入的领域了。数据接入的前提就是必须保障隐衷及平安。这就要依赖于隐衷求交、联邦学习等隐衷计算的技术,来实现多方数据的联结剖析、训练、建模、预测。从而实现数据价值的流通,达到数据“可用不可拥”。联邦学习是个独自的课题,此处就不赘述了,附上一张逻辑图供参考吧(如图 5 所示)。

                          图 5:联邦学习逻辑图

数据处理

数据处理是企业数字化转型最外围的一步,各企业的数据量级(Volume)越来越大,格局及内容(Variety)越来越多样,而各企业在数据挖掘的深度上、剖析的维度上、计算的速度上的要求都日益晋升。要想在如此庞杂的数据下开掘 / 剖析出价值,靠传统的数据分析形式基本上是天方夜谭。这要求企业必须在数据采集、数据存储、数据计算、数据挖掘 / 剖析等数据处理的各个层面都有稳固、高效的技术工具。而这些技术工具的产出又须要百人团队三到五年的积攒。对于大部分企业来讲,养个百人团队是不可能的,再积攒个三到五年,基本上“黄花菜都凉了”。咋办呢?这就须要业余做数据平台和工具的大数据公司来提供这方面的技术能力了。以 MobTech 为例,这四个层面造成残缺的产品矩阵经验了 9 年(如图 6 所示)。

                          图 6:MobTech 数据分析矩阵

数据可视化

数据可视化是企业数字化转型的门面,这个大家都能了解。无论是如许有价值的剖析后果,都须要有曲线、报表等高深莫测的形式展示进去。当然财大气粗的企业能够抉择 Tableau 等商业软件,小而美的企业也能够抉择 Superset 等开源的计划,都挺好。

作者简介

退出移动版