乐趣区

关于数据库:案例星环科技×某能源企业数据中台实践

案例企业

某能源企业成立于 2008 年,是成品油销售畛域的龙头企业(以下简称“A 企业”),由中外合资设立。A 企业立足于陕西省及周边地区,重点发展加油站经营治理及相干业务。目前在陕西、山西、河南、内蒙古自治区经营油站超过 600 座,会员超过 600 万,每天为超过 22 万名顾客提供高品质的燃油服务。作为中外合资的混合所有制改革样板,A 企业通过市场化改革适应了国内、国内市场竞争,并踊跃利用数字化、智能化新技术,建设几十个信息系统,获得了一系列重要成绩,积攒了大量实践经验。业务挑战

在数据应用过程中,A 企业发现多个问题。以油站经营为例:站长日常须要关注油站注册用户数、沉闷用户数、会员加油频率、单笔生产金额、会员生产粘性等数据指标,但没有一个对立平台进行用户数据的展示。此外,日常数据分析老本高、效率低,业务人员通过业务零碎导数 +Excel 的半手工形式进行剖析,须要自动化工具将业务人员从低效的工作中解脱进去。造成数据应用问题多的起因可总结为以下几点:

第一,业务环节短少体系化串联。业务各个环节没有深刻的数据分析撑持,客户洞察难度大,无奈判断哪些是高价值客户、哪些客户有散失偏向,数据价值难出现,须要通过建设业务体系,例如闭环营销体系、会员管理体系、异业单干体系等,将各个环节的业务串联起来,造成合力。第二,数据不对立、不足规范。零碎间数据不统一,数据穿插,数据流向简单。例如,晚期油站零碎建设时,受到数据传输能力的限度,只能上传汇总数据,明细数据则存储在云上。汇总数据依赖于人工操作,导致汇总数据和明细数据之间存在差别。因而,须要制订数据规范,设计整体的数据架构,造成对立数据模型。第三,短少数据服务体系。数据服务的提供效率与业务诉求不匹配,须要造成数据服务生成体系,防止反复开发。第四,未造成数据资产化。数据未资产化治理,数据应用问题多,须要造成数据资产目录。第五,存在数据孤岛。主数据散落在多个零碎中,存储计算结构复杂,须要整合企业外部和内部的数据,对立存储防止差别,并从业务视角从新组织。解决方案

为解决业务技术痛点,A 企业与星环科技达成单干,旨在打造平台、治理、利用并重的数据中台。数据中台建设并非欲速不达,须要一个长期的过程,在星环科技的倡议下,A 企业采纳小步快跑模式,在增强根底能力建设的同时,推动重点业务数据价值摸索,按需建设。

A 企业数据中台建设布局分为三个阶段:第一阶段:重点摸索。实现数据平台搭建,进行数据资产治理经营,交融各零碎数据,并以最迫切、价值最高的业务利用为出发点,在数据中台摸索如何实现,并造成数据麻利开发机制。第二阶段:外部赋能。将第一阶段摸索的成绩推广到企业外部的其余业务部门和治理部门,促成数据与业务的进一步交融,初步造成大数据利用生态。第三阶段:生态单干。通过继续经营数据中心服务能力,造成生态化数字平台计划产品,建立健全业务需要辨认机制,实现利用生态百花齐放,让数据产生价值。依据三步走的建设布局,数据中台的指标是搭建三大平台,推动数业交融,将原有“数据孤岛”、“烟囱式”的数据存储和开发工作,纳入到规范化、标准化、资产化的轨道上,做到对立入口、对立进口、集中管理、高效服务。三大平台包含:• 数据整合平台:通过对数据进行集中采集、存储、计算、加工,造成统一标准和加工口径,通过数据整合确保数据一致性。• 业务利用平台:积淀共性数据能力,构建数据产品服务,提供数据、剖析服务的共享凋谢和机制能力,赋能业务。• 数据摸索平台:针对特定场景开掘钻研、AI 专题剖析,深刻洞察业务,最大化实现数据价值。

搭建三大平台须要迈过“六层台阶”:数据平台建设、数据采集、数据管理、数据展示、业务撑持和数据摸索。其中数据整合平台搭建后能够迈过前三层台阶,业务利用平台搭建后能够迈过第四、五层台阶,数据摸索平台搭建后则能够迈过最初一层台阶。从架构上看,数据中台整体架构分为数据中心、业务核心、对立接口、业务展示四个逻辑模块:数据中心将各个数据源的数据接入后,通过 ETF 对数据进行荡涤、整合、加工,并以工作流的形式进行治理。在数据平台之上构建数据集市,反对数据查问、数据摸索、人工智能等形式的数据应用,并提供平台治理和数据管理能力。业务核心对各个业务部门的业务场景进行形象提炼,例如市场部、运营部、大客户部都须要进行客户剖析,市场部、非油部、运营部都须要精细化经营剖析等,基于业务场景拆解分析方法,包含 BI 维度剖析、自助式剖析、人工智能剖析等。通过数据中心和业务核心的解决,将有价值的信息通过对立接口对外输入,并以可视化形式进行业务。

从数据流转生命周期的角度看,数据中台体系架构可分为数据供应、数据加工 & 数据治理、数据服务和数据生产四个环节。

其中,数据加工 & 治理作为外围环节,数据中台采纳离线和实时计算存储平台,采集外部外全域数据,依照明细水平进行分层,依照业务主题进行分类,从横向和纵向登程将本来扩散孤立的数据组织和对立起来。操作数据层是原零碎数据在数据中台的落地,明细数据层保留最具体力度的数据,将各个系统雷同主题的数据归类寄存,包含客户、油站、交易、营销、供应链、平安、财务、人力等主题。同时,依据数据应用的作用划分维度和事实,包含员工维度、交易事实、人力事实等,将数据历史通过事务事实、周期快照事实、累计快照事实等形式进行保留。将雷同主题整合到同一个业务域,例如将员工、交易和人事组合为人力资源域,能够反对 HR 业务域所有根底数据的需要。汇总指标层对数据进行轻度汇总,次要用于加工罕用和共性指标,客户指标例如客户月交易频次、客户常去的油站等,销售指标包含分油品销量、分客户类型销量等,营销指标包含促销金额、促销费用等。利用数据层依据业务需要,对数据进行深度汇总,组合为具备强烈业务指向的指标和利用,包含驾驶舱、经营日报、会员经营、油站经营、投资回报、定价剖析、批发剖析、灵便剖析等。数据在各层次一直上卷的过程中,一方面须要保证数据始终处于良好的数据管理之下,包含元数据管理、数据品质治理、数据资产目录治理等,保障数据安全;另一方面资产也须要剖析、利用、优化和继续经营。对于探索性、研究性场景,应用 AI 模型剖析,例如客户分群、客户散失、异样交易、油站平安危险评估等,同时还反对指标、营销、客户标签、财务管理等 API 类的服务。数据在服务过程基于开发平台解决,遵循开发标准。这种数据架构下的中台具备稳固和强壮的特点,可能通过形象进去的能力为疾速变动的业务赋能。在数据采集方面,数据中台采集各业务零碎数据,数据类型包含结构化数据和半结构化数据,结构化数据包含 Oracle、SqlServer、Hadoop、微软云等,通过星环科技 Transporter 工具进行采集,保证数据及时准确无误接入数据中台;对于半结构化数据,采纳 Shell/Java/Python 脚本的形式解析数据入库。

在数据治理方面,基于对数据个性差别的剖析,将数据分为根底数据、指标数据和内部数据,并对每类数据源进行数据资产盘点,制订每类数据资产目录,编制数据规范,构建统一标准的数据模型,造成可继续的经营计划。数据资产目录能够提供疾速理解数据和业务的蓝图,为业务人员和剖析人员提供备查的数据索引。

在团队保障方面,A 企业和星环科技全力配合、双向合作,星环科技作为供应商将我的项目组成员分为项目管理、数据智能、数据架构、技术架构和产品施行,同时装备专家组,全力支持 A 企业数据中台建设。

A 企业数据中台我的项目从 2019 年 10 月开始,通过两期我的项目,数据中台初步造成了对立数据入口、对立根底模型、对立数据管理、对立展现进口的数据整合平台、业务利用平台、数据摸索平台,面向管理层、业务经营层和一线油站提供 KPI 指标预警、多项专题类利用和数据类报表服务,充分发挥大数据对内经营的撑持作用,全面晋升 A 企业精细化经营能力和效益剖析能力。数据中台在 A 企业外部的典型利用场景如下:业务利用一:领导驾驶舱基于业务痛点和管理层需要,为不同部门定制开发驾驶舱,例如经营部门关怀油站的销量、车次、单价等,安全部门关怀油站的月检、周检、视频查看等。通过聚合各平台的数据资源,实现技术和业务的深度交融,通过数字化平台保障撑持,疾速反映 KPI 指标经营趋势,为管理层决策提供数据根据。

业务利用二:油站经营油站的批发经营波及管理层、业务区域经营层和一线油站经理,不同层级的人员有不同的经营需要。但不同地区、不同类型的油站都独立经营,不足对立的数据统计口径和数据规范,油站经营情况不足疾速麻利的剖析撑持能力和无效的高低传导管理机制。通过油站经营剖析,整合公司油站的经营数据,并对立数据规范,提供各项经营指标查问监控、数据类灵便多维分析报表服务,施展大数据对内经营撑持作用,全面晋升油站的精细化经营能力和效益剖析能力。

业务利用三:会员经营对于会员分群,通过应用 RFM 模型,利用 AI 算法对会员生命周期、会员用户状态、会员价值进行摸索和剖析,辨别各个价值类型、各种沉闷水平的客户,从而无效制订营销策略,晋升客户价值。

会员标签体系包含会员信息、会员油品交易信息、会员非油交易信息,通过建设会员标签体系,能够剖析不同地区会员的特色,针对不同会员采取定制化的营销计划与服务。

业务利用四:财务管理财务管理波及利润剖析、销售定价剖析和财务合规剖析,利用数据中台数字化、自动化、智能化的劣势,能够疾速撑持财务部门进行利润计算、财务对账和财务合规剖析,进步财务部门的工作效率,并无效躲避财务危险。

业务利用五:异样交易辨认通过对指标的拆解和解决,构建异样交易模型,辨认异样交易。过来人工判断的异样交易准确率在 15% 左右,异样交易模型将准确率晋升到 60%-80%,帮忙企业挽回肯定损失。

业务利用六:油站平安治理加油站是易燃易爆场合,安全事故一旦产生会造成很大损失,因而油站平安治理尤为重要。数据中台对油站的平安治理分为两局部:一是对现有数据的统计分析,可视化展现各个油站的平安情况,例如本年累计维修保养次数、油站设施应用工夫、本月安全隐患提交次数等,实现油站危险可视化展现与跟踪。

二是通过 AI 模型对油站平安危险进行评分,分为高中低三类,使业务人员重点关注危险较高的油站,解决人站不匹配问题。

价值与成果

 数据中台继续为 A 企业各个层面带来切实收益,具体来看:第一,落实公司数字化策略,摸索将来数据倒退方向。数据统计工作从最后繁琐、易错的依附人工上报的模式到零碎登录数据中台,不同角色能够看到不同的界面及数据,数据应用更加不便、快捷、精确。第二,数据买通交融,为油站经营提供全方位撑持。数据中台突破数据孤岛,提供全方位数据反对,保障油站治理高效运行。第三,晋升剖析成绩共享能力和剖析效率。从间接在各自生产零碎上下载客户或财务账目明细数据进行剖析计算,到不同零碎数据汇聚到数据中台,联合不同零碎数据综合剖析。第四,丰盛数据利用场景,升高人力老本。原来每个部门须要装备多人专门负责数据汇总出现,现只需 1 人,节俭了人力老本,业务部门也可将无限的人员和精力投入到最须要的中央和环节。

从业务的数据应用角度看,数据中台实现三方面的效益:第一,数据中台对数据进行对立的积淀解决,当其余零碎须要时,可间接对外提供,防止反复开发,业务人员从一个入口就能够看到所有须要的数据。

第二,业务性能按不同角色进行梳理和划分,开发出合乎业务人员本身特点的操作流程,让每个使用者都切身感觉到数据中台是为其专人服务的。

第三,业务人员能够依据理论的应用场景抉择绝对应的展示形式,反对手机、电脑、平板等多个终端便捷查问。

教训借鉴

 帮忙业务是数据工作的出发点和落脚点,数据中台我的项目的布局和设计必须联合业务思考,同时晋升业务的数据意识,实现数据和业务双向正反馈,独特达到业务指标。A 企业数据中台我的项目顺利落地的要害胜利因素有以下四点:第一,领导反对是胜利的保障。高层领导的策略引领、信息部门领导的兼顾布局、业务部门领导的踊跃配合对于数据中台我的项目而言缺一不可。第二,晋升业务的数据意识。企业须要在全司造成应用数据解决问题和剖析问题的气氛,我的项目发展初期能够通过宣讲等多种形式让业务人员意识到数据工作的重要性以及以后所处阶段和难点。当数据我的项目到前期,业务人员曾经习惯于数据中台提供的服务后,要防止成为业务的取数工具人,而是为业务进行赋能。第三,抉择适合切入点发展工作。各部门都有不完全相同的数据需要,无奈一次性满足所有业务部门的需要,能够优选抉择 1 - 2 个重要且有影响力的业务场景进行切入,争取业务人员的了解和反对。胜利实现了 1 - 2 个场景案例后,我的项目压力加重,不便后续工作的发展。第四,小步快跑、继续迭代。我的项目对效率的要求高,投产上线周期快,针对我的项目进行麻利开发,实现小步快跑、迭代开发和循环演进。

退出移动版