作者：陈晓勇、柯根
阿里巴巴数据技术编年 简史
2003 年淘宝诞生于杭州一间民居。次年，Google 发表了三篇大数据论文将计算技术引入大数据时代。
2004 年 Doug Cutting 和 Mike Cafarella 依据 Google 的论文实现了 Hadoop 的 HDFS 和 MR 计算框架。
2006 年 Hadoop 我的项目进入 Apache 社区。
2008 年 9 月 Hive 成为 Hadoop 的子项目，之后成为 Apache 的顶级我的项目。同年，淘宝开始施行基于 Hadoop 零碎的数据计算平台搬迁 - 云梯 1。
2009 年阿里云诞生，阿里云开始写下 Maxcompute 第一行代码，中国的各种云端服务开始涌现。
2014 年阿里巴巴施行登月打算，实现基于 Maxcompute 平台的数据平台迁徙 - 云梯 2，汇总全团体的数据业务到一个平台上，实现数据公共层建设，OneData 体系和团体的数据中台渐趋成型。
2014 年 4 月 Intel 投资 Cloudera，放弃自主的 Hadoop 发行版，同年 Cloudera 进入中国市场。
2017 年数据中台产品 Dataphin 产品问世，同时反对 Maxcompute 和 Hadoop 大数据平台，OneData 外部的技术体系开始对外实现赋能。
2018 年 Cloudera 和 Hortonworks 发表了公司合并，Hadoop 发行版从多个厂商竞争变成寡头间游戏。
2020 年基于 Dataphin、品牌数据银行，Quick Audience、Quick Stock 数据中台产品的全域营销推出，阿里开始通过自有的数据体系赋能商家，数据中台从纯技术推广到业务价值体现。
数据中台理念应运而生机会
传统的数据处理形式，特地是传统的数仓平台，其软硬件洽购老本，运维老本、技术门槛等都颇高。只有银行、运营商等大型企业才有能力和财力实现数据仓库和数据集市的平台建设。随着大数据技术和云上服务的遍及，企业的运维老本和技术开发门槛大幅度降低，特地是具备极高性价比的云端服务，简略的部署，近乎有限的可扩展性和轻松的治理，综合应用老本和便捷性都大大优于传统数据平台。因而，企业开始将其数据仓库从传统的 Teradata、Oracle/IBM 等平台迁徙到大数据平台或云服务中，时至今日，这一变动还在传统企业中一直的演出。
云计算衰亡之后，数据库和弹性计算（ECS）是最为广泛的产品，但随着用户在云上业务的数据积攒，企业开始对数据分析有了间接的需要。2011 年阿里云 maxcompute 大数据平台上线，阿里云迈入大数据时代。
随着数据指数级的增长，数据处理的形式和模式产生了质的变动。传统面向经营管理人员和少部分业务人员的数据撑持形式不再能满足业务倒退的需要。数据开发周期长、反馈慢、利用面窄的弊病也越来越突出。企业及政府开始寻求应答市场变动和数据及时响应的办法，同时对数据的采集、开发、应用和治理提出了更高的要求。
企业须要进行数智化转型，能力更无效地治理数据，更便捷地应用数据。阿里巴巴数据技术及产品部也意识到了数据处理形式必须有所扭转，能力满足企业对数据开发效率，数据赋能业务产生价值和数据领导企业经营治理的需要，至此数据中台理念孕育而生。它帮忙阿里巴巴团体在之后几年的强烈竞争中怀才不遇，并持续帮忙企业过渡到将来的竞争，这场趋势之战的背地是商业主导权的竞争。
数据中台本质是实现数据价值化与数据资产化
要害产品介绍：
Dataphin 是阿里云旗下智能数据构建与治理的数据中台建设引擎。旨在基于数据中台实际中积淀的外围方法论和技术体系，提供从数据采，建，管，用的全链路、一站式的大数据能力，以助力企业打造规范对立、死记硬背、资产化、服务化、闭环自优化的智能数据体系。
Dataphin 的外围价值在于标准数据定义，用规范化、标准化的形式生产数据，进步数据开发的效率。
数据中台把面向全员凋谢数据，撑持业务的数据化经营作为指标。数据中台便捷的数据构建和业务价值视角的设计思路是与传统数据仓库的最大的不同。阿里巴巴通过数据为人人，基层小二才是数据次要使用者的理念，来进行数据加工和开发，让一线员工有数据可看，有数据反对经营决策，有数据做业务领导。
OneData 是基于阿里巴巴数据技术团队多年教训积淀进去的方法论，外围是数据公共层的建设，Dataphin 是方法论固化到产品的一个状态，它帮忙阿里巴巴经济体在业务转型的过程中推动业务改革，实现业务价值。企业同样可利用这些成功经验和工具来进步数据效率，反对他们的经营和可持续性策略。
OneData 外围是数据公共层的建设。阿里巴巴正是通过底层服务和麻利开发的翻新来赋能其宏大的客户群，为客户提供成熟的方法论和开箱即用的工具，帮忙企业实现业务翻新。在以发明业务价值为导向的明天，咱们看到数据中台能推动企业数据价值利益链的传导。
在阿里巴巴经济体内，数百种数据应用服务于淘宝、天猫、优酷、飞猪、支付宝等各个业务部门。经济体外，生意顾问、品牌数据银行、全域消费者经营平台 Quick Audience 等数据利用帮忙内部的商家在阿里巴巴经济体内实现业务价值。数据及数据工具将越来越多的实现人、货、场的连贯和合作。
数据中台概念下，数据资产除了根底的存储容量、计算资源外，还须要依据企业的组织架构或开发状态来构建本人数据资产治理平台，用以洞察企业数据健康状况。在阿里巴巴企业外部也有资产平台提供数据衰弱状态信息，可为下一财年的零碎扩容提供数据根据。Dataphin 内置的数据资产治理模块可能体现开发者视角下的数据资产根底情况。
企业须要进行数智化转型，能力更无效地治理数据，更便捷地应用数据。阿里巴巴数据技术及产品部也意识到了数据处理形式必须有所扭转，能力满足企业对数据开发效率，数据赋能业务产生价值和数据领导企业经营治理的需要，至此数据中台理念孕育而生。它帮忙阿里巴巴团体在之后几年的强烈竞争中怀才不遇，并持续帮忙企业过渡到将来的竞争。这场趋势之战的背地是商业主导权的竞争。
数据中台利用现状
一、通用行业数据中台建设场景
传统企业对数据中台的期待更多的是在业务经营和治理撑持这两方面。开箱即用的工具能实现企业高效的数据产出和数据资产的治理。在数据中台建设的场景设计阶段，会对传统企业进行深刻的业务调研，抽丝剥茧地提炼业务场景，将用户最为关怀的业务洞察视角通过 BI 数据分析报表可视化的展示在人们背后，辅助决策者做出迷信判断。
数据中台的业务场景设计阶段衍生出数千个派生指标，这些派生指标具备工夫限定细、指标定义清晰无二义性，指标间组合条件多等特色。Dataphin 能疾速实现数据加工和开发，图形化设计升高数据中台开发和设计的门槛，并从数仓布局、数据集成、标准建模、通用开发 IDE、运维调度到数据服务一站式疾速达成传统企业数据建模和数据开发的指标。
数据中台内汇聚的数据资产就像一座“金矿”，对企业来讲，数据中台必须要解决数据如何治理，如何应用的问题。通过中心化的数据资产治理能够不便的对资产应用及其价值进行全面的评估，构建数据利用的全链路追踪体系，对数据老本、业务收益做到清晰、通明、可评估。传统企业因为业务零碎多元、设计独立等起因导致造成数据烟囱式开发的场面。通过对数据资产的集中管理能够实现企业全局数据资产情况全把握，纵向部门、横向层级的经营情况通明出现，为迷信的数据化决策打下松软的数据根底。
某传统企业客户，他们在全国领有大量零售商和门店，营销费用居高不下，因为经营数据都在门店和各个子系统中，总部难以发现起因。通过数据中台的建设，将各个系统数据和门店营销数据采集后，通过剖析生产数据、积分积攒和积分耗费数据，发现了异样行为会员，他们在门店的生产集中在早晨 10 点当前，这段时间恰是门店关门的状态，疑似羊毛党的舞弊行为所导致。通过数据中台的数据集中化治理，可对各事业部上司门店的理论流动销量进行监督。通过数据中台定制化的“资产可视化门户”帮忙企业对自有数据资产进行无效治理。
作为传统企业代表某电信运营商、某航空公司通过 10 多年的数据仓库建设，曾经领有一套数据分析平台，但传统的数据仓库只偏重数据开发，没有场景设计和资产治理的理念，当有一个新的数据开发工作，往往须要开发人员从贴源数据做层层加工实现，不仅耗时长而且存在定义不清晰的景象。而这些景象能够通过应用 Dataphin，引入规范的数据公共模型来解决。
“推动业务和数据中台建设是航空公司往年八场硬仗之一，也是公司智能化转型过程中的关键性改革。过来，须要人工从不同零碎采集、在各自电脑上跑几十小时能力获得的数据，当初几分钟就能实现数据从“云端”上轻松获取，极大地晋升了剖析工作的效率和品质。”航空公司数据中台我的项目负责人表述。
二、批发行业全域数据中台营销场景
新批发行业有着全新的业态销售模式，商家通过门店、线上网店、直播平台、品牌 App、微信 / 支付宝小程序等各种渠道促销商品。针对营销模式多、渠道多的特点阿里巴巴推出了全域营销解决方案，汇合全域数据通过 AIPL/RFM 数据模型进行深度洞察，通过精准投放，晋升营销效率，实现业务价值。全域营销解决方案是基于阿里巴巴生意顾问、品牌数据银行、数据构建及治理平台 Dataphin、全域消费者经营平台 Quick Audience 等一系列数据产品来实现的。
在全域营销中最为外围的是帮忙用户找到指标人群，通过人群预测模型和营销投放为商家带来业务价值，因而全域营销预测技术施行的前提是汇聚各个业态 / 渠道产生的数据，并以阿里巴巴 OneData 方法论去解决以实现全域的数字营销，这一畛域 AI 和算法平台的计算能力有间接的场景利用和业务价值体现。通过模型建设和数据输入使得商家对业务的经营情况、会员洞察、渠道和销售治理、门店治理等业务数据有全盘的管控。通过数据分析，决策者能够做出业务判断，也能够通过市场预测（predictive Marketing）模型为全域营销提供市场预测。
全域营销解决方案是企业构建数据中台后与阿里巴巴商业生态单干，获得业务价值的一个重要形式。由企业的数据中台积淀的价值数据与阿里巴巴商业生态体系以及其余媒体渠道共建数字营销，并且可回流内部投放的数据，造成全链路数据闭环。
飞鹤乳业、良品铺子、伽蓝等新批发企业通过全域数据中台建设，应用 Dataphin 对天猫店铺、线下门店、小程序、自有网站等数据进行对立治理，构建对立、规范、高质量的数据，撑持数据决策和全域营销投放，实现业务价值。正如客户们所说：
“数据中台可能解放数据根底建设，让咱们有更多的精力来思考如何使用数据来解决业务痛点、晋升公司效率；那么在对组织的能力要求方面，咱们也可能更偏差业务剖析和架构的能力、数据模型算法能力、创新型利用产品设计和布局能力的倒退。”良品铺子副总裁周世雄在承受采访时候如是说道。
伽蓝团体大数据中心总经理钟卫在承受采访中表述”咱们手中有金矿（消费者数据），但不足开发的办法。数据中台体现的数字化技术相当于新的生产力，可能驱动企业通过建设与之相配新生产关系，比方组织降级、生态协同而促成企业经营模式、商业模式上的冲破，这种冲破所带来的扭转是 DNA 级别的”。
数据中台将来趋势瞻望
一、数据中台的实时计算趋势
数据处理向准实时、实时趋势方向倒退。传统的数仓设计限于技术体系无奈实现实时计算。而采纳分布式大数据技术不仅能实现构建 PB 级别的数据中台（历史上把这类计算场景叫数据仓库）而且还能将实时计算与历史数据联合，实现流批一体开发。满足新一代数据中台强调的数据时效性和剖析能力。
阿里巴巴采纳 Blink(Flink 开源版本)实时计算框架实现流批一体，Blink 具备简单事件处理能力（Complex Event Process），还能为不同需要和能力的开发者提供 SQL/Table、实时流批数据处理、状态事件驱动利用 API 等多种个性，应答不同数据开发的需要。
数据中台的实时计算技术并不是对原有的业务流程进行再造，而是通过实时数据流与数据仓库指标联合的形式来实现更高效的业务剖析。利用实时技术能够疾速进行 BI 剖析和业务预警，如实时营销策略、实时风控策略、实时反欺诈。这些场景都能够嵌入到理论的业务零碎中。
阿里巴巴的新批发业务、双 11 购物狂欢节也使用流批一体，对营销过程实时监控。
Dataphin 产品在 2018 年开始就流批一体投入研发，在 2019 年底外部流计算产品胜利迁徙到 Dataphin 产品上。2020 年 Dataphin 公布 v2.7 版本，开始反对阿里云实时计算产品 Flink，与阿里云大数据计算服务 Maxcompute 联合，通过流批一体技术满足数据及时性需要。用户能够通过 Dataphin 产品实现营销成果的实时反馈并与历史数据放在同一维度剖析和比拟，给业务人员提供即时精准的数据用以实时决策。
二、数据中台下层利用的挪动终端化趋势
BI 洞察剖析是数据中台数据出现的最重要的形式，现阶段绝大部分的 BI 出现都是 PC 端为主，手机端为辅。互联网由 PC 端向挪动终端倒退的一个必然趋势是数据数据利用也随之挪动终端化。这几年，在数字化剖析畛域，多个 BI 厂商都公布了挪动终端展示的配套产品，但并未在市场上大规模遍及，究其原因既有屏幕尺寸难对立等主观问题，又有挪动终端受众场景个性化水平高的状况，因而数据中台的利用挪动终端化必须适应终端的要求。
在数字 BI 畛域，其终端化必然要思考端上适配，更多的以数字指标看板的形式出现，而不是像 PC 端一样去突出丰盛的出现成果及历史指标。其次是终端 App 与实时计算相结合，强调实时数据的剖析能力，出现的内容要具备时效性，更多的利用在业务流量、实时订单与历史订单剖析及预测的场景中。
现有的挪动终端化难点除了须要在 iOS 和 Android 两个零碎上做 App 开发外，还面临多个端出现问题，钉钉微利用和微信小程序已是企业除 App 外在数据 BI 终端化中的其余抉择，但从技术层面上来说，纯 H5 页面开发面临下载数据量大，应用体验不佳，不能实现离线数据放弃和浏览等问题，因而大多数挪动终端利用仍旧采纳 App 形式实现。
因为终端 App 的开发和运维老本高，PV/UV 经营效率问题，所以什么样的数据和利用模式能力进步数据用户的应用频率是摆在企业管理者和产品经理背后一个事实问题。数据中台大部分的剖析数据是 T + 1 的剖析指标，对企业管理者有很重要的借鉴作用，但没有小时和分钟级别的应用频率，因而 App 上出现的数据应该以企业业务及营销流动数据为主，特地是多端的埋点采集数据、PV/UV 数据，再联合数据历史剖析比拟能更好的体现 App BI 的业务价值。
**
三、数据中台的智能化发展趋势 **
AI 技术最为重要的价值是能为事实场景所用，比方人脸识别的一个典型利用场景是替代密码实现手机登录。构建数据中台之后，企业用户可积攒丰盛的指标数据，这些数据都是算法和 AI 依赖的根底。数据中台用户比拟广泛的 AI 利用场景是销量或流量预测，千人千面的举荐算法，营销流动的预测等。这些都是对业务决策提供间接辅助的场景。
受到强烈的市场竞争压力，企业都冀望 AI 计算能在短时间内帮忙实现销量增长或老本降落的成果。其实通过 AI 算法为一线员工提供数据的便利性应用也是进步生产效率的一大路径。阿里巴巴外部有这样一款数据产品，员工能够向它含糊发问，产品间接回复员工用户所关怀的指标数据，升高了数据查问的门槛，不便一线员工的应用。
“人法地，地法天，天法道，道法天然”, 法是制约、管控，人以地为行为规范，地以天为标准，天以道为标准，道以天然为标准。企业亦之，企业的经营依赖数据撑持，数据撑持依赖零碎、零碎依赖于数据中台，数据中台遵循数据处理的方法论和多端的出现，因而数据处理的解决是数据中台胜利落地的一大关键所在。
原文链接
本文为阿里云原创内容，未经容许不得转载。