特地鸣谢（按拼音排序）
报告摘要
湖仓一体强化全域数据管理效力
为解决数据类型丰盛、数据体量倍增带来的存储问题，同时满足人工智能、机器学习在趋势预测、摸索剖析等方面的利用需要，同时配置数据仓库、数据湖成为企业的广泛抉择。然而企业逐步发现多架构的配置并不完满，解决既有问题的同时带来新的架构问题，如数据流通低效、数据冗余以及存储老本高。
湖仓一体能无效解决简单架构问题。湖仓一体通过元数据层在数据湖上实现全局数据对立治理，反对流批一体简化零碎架构，以及云原生、存算拆散的特色成为数据架构新一代进化方向。
从治理到经营，DataOps 开释数据中台价值
以后，数据中台的性能次要体现在为企业买通数据孤岛、建设指标体系、实现数据品质治理、资产治理等方面，重点解决企业“有数据可用”的问题。随着数据利用场景的丰盛，数据利用的多元化，数据开发运维的压力骤增，数据不可信、数据利用交付迟缓等问题频发。解决“数据好用”的问题成为数据中台实现数据能力复用和共享的要害。
DataOps 是一套以数据为核心的数据管理及运维开发方法论。交融 DataOps 方法论，数据中台将显著晋升数据品质、实现数据利用继续麻利交付、升高数据管理老本。DataOps 实际尚不成熟，但曾经成为数据中台进一步开释数据价值的要害门路。
高时效场景暴发，实时数据平台撑持热数据价值开释
物联网使得海量实时数据触手可及，进而推动以金融、工业行业为代表的实时数据利用的翻新，如精准营销、风控治理、故障预警等。企业须要对数据架构进行降级，实现实时数据和离线数据交融，充分利用实时数据价值。
实时数据平台反对多源数据采集、提供高可用、低成本的数据同步计划，并通过流批一体的形式实现离线数据和实时数据对立存储和查问，晋升企业实时场景开发和上线效率。
政策合规要求推动隐衷计算平台疾速浸透
以金融、政务、医疗为代表的行业须要通过数据跨机构合作及共享晋升服务价值、管制危险、晋升效益。然而数据跨机构的流通阻力极大，一方面，随着《数据安全法》及《个人信息保护法》的颁布，国家对数据流通监管增强；另一方面，数据资产等同于企业的命根子，使得企业对数据流通持十二分审慎态度。
隐衷计算能为企业实现数据跨机构的流通共享。隐衷计算通过联邦学习、多方平安计算、可信执行环境以及同态加密等一种或多种技术组合，实现数据流通过程中的“可用不可见”，曾经为越来越多的行业采纳。
属于业务人员的数据分析时代降临
随着数据利用的深入，企业数据分析场景正在产生三个“转变”：1、平民化：数据分析平台的服务对象从传统财务人员及管理人员向一线业务人员转变；2、场景化：数据分析平台的利用场景也从财务及业绩出现向具体业务剖析转变；3、智能化：企业对数据分析平台的性能需要从传固定式的出现模式向智能、共性、灵便自助的模式转变。这对数据分析平台的定位和性能提出了挑战。
数据分析平台也在与时俱进，能够看到，市场中曾经疾速呈现多种应答计划。如局部技术厂商通过交融 NLP、机器学习、低代码等技术使数据分析平台具备满足智能化、自助化的特点，使产品具备通用性；局部厂商在本来针对垂直业务场景的体系化产品中减少数据分析性能，为企业实现业务小闭环。企业可灵便依据本身业务需要抉择相应数据分析平台产品及服务。
数据智能行业利用从监测、诊断性剖析走向智能决策
传统的大数据和人工智能技术建模和剖析只能辨认现状和问题，企业若想进行业务决策仍需大量人工染指，重大依赖专家教训，影响决策速度，不能适应疾速变动的市场环境。企业心愿通过人工智能技术实现根因剖析、数据关系开掘和决策反对，从而进步决策速度。
智能决策技术继续迭代更新，交融大数据以及机器学习、深度学习、强化学习、运筹优化、常识图谱等人工智能技术，可能深度开掘数据价值，构建数据常识网络，继续优化模型精准度，疾速输入优质的决策计划，反对企业各部门实现高效决策。
目录
- 综述：多种因素推动，数据智能全链路降级
- 湖仓一体强化全域数据管理效力
- 从治理到经营，DataOps 开释数据中台价值
- 实时数据平台撑持暴发中的高时效场景
- 政策合规要求推动隐衷计算平台疾速浸透
- 属于业务端的数据分析时代降临
- 数据智能行业利用从监测、诊断性剖析走向智能决策
- 瞻望
- 综述：多种因素推动，数据智能全链路降级
数据智能是指以数据为生产因素，通过交融大规模数据处理、数据分析与开掘、机器学习、可视化等多种大数据和人工智能技术，从数据中提炼、挖掘具备揭示性和可操作性的信息，从而为企业提供数据驱动的剖析与决策。
以后，数据智能曾经成为企业实现数字化转型的外围形式。一方面，在实现初步数字化的根底上，企业心愿把数据分析扩大到更多的利用场景，以在业务倒退与经营中实现降本增效，或构建创新性的业务模式；另一方面，数据规模的继续收缩，与剖析场景的更加多样化，也对数据存储、解决和剖析等方面的能力提出了更高的要求，因而企业须要对数据基础设施进行继续的降级与优化。
本次报告将数据智能市场划分为利用解决方案和数据基础设施两大部分，其中利用解决方案是指通过数据智能解决方案在垂直行业或通用职能畛域间接赋能业务价值晋升的最佳实际；数据基础设施指利用云计算、人工智能、隐衷计算等新兴信息技术构建的为企业赋能的平台类解决方案，次要包含数据的采集、存储、计算、治理等内容，进而为下层利用提供数据服务。
图 1：数据智能市场全景地图
随着数字化转型进入深水区，各行各业中的数据状态和利用端需要正在发生变化，传统的以结构化数据为主的治理和剖析曾经远远不能满足以后市场中企业对于数据的需要，对于多源异构数据的治理和更加智能化的数据利用是每一个企业在数字化时代必须构建的能力。
与此同时，政策对于数据安全和隐衷平安的合规要求也越来越严，将来更加业务敌对、更加智能化、更具性价比且满足合规要求的数据智能解决方案将成为数据智能市场倒退的支流趋势。
图 2：数据智能利用趋势
2. 湖仓一体强化全域数据管理效力
2.1 数据存储异构妨碍数据高效流通
随着数据类型的丰盛、数据体量的疾速扩张，以及企业心愿利用人工智能、机器学习解决趋势预测、摸索剖析的需要增长，数据湖与数据仓库同时部署成为企业的广泛抉择，同时也带来数据架构简单、数据流通效率低的问题。
图 3：数据仓库、数据湖共存带来的挑战
数据架构简单：企业广泛有数据仓库、数据湖以及其余多种类型的业余数据仓库如工夫序列、图形和图像数据库等，导致企业数据架构简单，为技术人员运维带来微小艰难。
数据流通低效：数据仓库、数据湖两种数据架构在集群层面割裂导致数据不能自在流通。如机器学习中数据来源于数据仓库或数据湖，难以跨架构进行数据交融剖析，减少了数据流通和计算开发成本。
数据冗余，存储老本高：数据仓库、数据湖的同时存在也会造成数据冗余，且随着数据量增长，存储老本将继续攀升，超大规模体量数据的计算性能也将继续降落。
企业寻求一种数据架构，能够兼具数据仓库成长性和数据湖灵活性的同时，提供一套独特的数据规范，进步数据流动灵活性，晋升数据效力。针对此需要，湖仓一体应运而生，是继数据仓库、数据湖之后数据架构的最新解决方案。
2.2 湖仓一体引领数据架构迭代更新
图 4：湖仓一体架构示意图
湖仓一体在技术架构、性能和性能层面次要具备以下次要特色：
通过元数据层在数据湖上实现数据管理性能。智能湖仓应用规范文件格式（如 Parquet）将数据存储在对象存储中，并在对象存储上构建元数据层，从而在元数据层实现诸如 ACID 事务处理、版本控制等数据管理性能，使得多种计算引擎能够共享对立的数据存储。同时，通过对缓存、辅助数据结构（如索引、统计信息）和数据布局进行优化，智能湖仓也具备了良好的 SQL 性能。
流批一体，简化零碎架构。智能湖仓能够实现批处理与流解决的对立，通过 CDC（Change Data Capture）将业务零碎数据实时抽取到数据湖，实时加工后传输至 OLAP 零碎中对外服务，实现端到端过程的分钟级时延。与此同时，零碎架构失去简化，大幅升高了系统维护以及数据开发工作的难度。
云原生、存算拆散。基于云原生架构，智能湖仓存储和计算资源失去无效拆散，企业能够基于需要灵便地对存储和计算资源进行别离扩大，且扩大需要简直没有限度，从而实现对大规模数据查问与剖析的高性能，并显著升高 TCO（Total Cost of Ownership）。
案例 1：某跨国批发团体建设对立数据底座，全面晋升数据管理经营效率
某海内跨国综合批发及服务团体为世界 500 强企业，主营商业批发、地产、金融、衰弱、游戏娱乐 5 大次要业态，旗下蕴含数百家成员公司，在日本、中国、东南亚等地区具备宽泛影响力。
旧架构难服务新批发，数据开发治理利用全流程能力需晋升
近年来，“新批发”的崛起为批发行业继续带来微小改革，该批发团体也心愿借助其商超和供应链劣势开拓线上——线下到家业务，并通过逐渐构建欠缺的线上批发体系，实现传统批发业务的全面转型。
通过多年数字化建设，该团体陆续在本地和云上建成多个数据仓库，并面向整个团体建设了对立的 CDP 平台，积淀了丰盛的数据资源。然而线上业务的发展引发了数据量激增，底层数据架构凌乱、端到端数据经营剖析能力落后的问题裸露无疑。具体而言：
- 烟囱式建设，数据资产不对立。该团体数据存、算基础设施均是以需要为导向进行阶段性单点建设而成，建设在离线、微软云、亚马逊云之上的结构化、非结构化数据存储及数据调度、实时计算工具等纵横交织，底层技术栈凌乱，这间接导致了团体数据规范、数据口径不对立，数据开发格局和数据开发工具互相独立，难以造成对立数据资产。
- 业务稳定性、即时性不达标。该团体数据仓库层次结构不清晰，数据域、主题设计不合理，导致数据反复开发和计算问题重大，数据分析低效且消耗大量资源。在数据分析需要激增的状况下，原有云资源算力和存储都达到瓶颈，一项数据分析需要的响应往往须要 2 - 3 天，大大影响了工作稳定性和即时性，无奈满足业务需要。
- 数据全流程经营治理办法不健全，服务能力差。该团体别离洽购海内供应商抽取、集成、调度、监控、服务等数据开发管理工具，但这些工具之间彼此割裂，不仅导致数据全流程经营效率低，通过代码开发出的数据能力无奈复用，影响对外开放赋能，同时导致数据分析师、数据科学家、业务人员、管理人员等不同角色之间无奈无效合作。
该团体经外部评估布局，决定面向整个团体当下及将来 5 -10 年数字化转型须要，对立数据存、算基础设施，并通过全方位数据治理对立全域数据资产，健全数据开发、治理、经营全流程体系，从而反对智能化利用，对立凋谢赋能，并最终将整套成功经验推广复制到该团体的寰球市场。
通过长时间粗疏地对泛滥国内外优良厂商及其客户进行实地调研和技术验证，以及对各厂商产品的开放式体验，该团体发现，国外厂商工具能力较强，但不同数据开发管理工具彼此独立，无奈造成有机串联，导致数据工具和数据治理体系“两张皮”，无奈实现该团体构建对立数据资产治理经营体系的需要。而科杰科技在工具能力与国外厂商旗鼓相当的根底上，将数据资产治理经营全流程的方法论和最佳实际融入数据工具设计中，使客户可能应用科杰科技全套产品构建对立、可继续的企业级数据资产经营管理体系。因而该团体最终抉择科杰科技作为合作伙伴。
北京科杰科技有限公司（简称“科杰科技”）是当先的数据能力构建商，核心技术团队领有丰盛的头部互联网企业大数据平台建设和经营教训，针对多业态、多场景的大型简单组织的数据底座建设经营，积淀出了一套成熟的施行方法论。现已服务能源、汽车、批发、制作等多个行业头部企业。
建设湖仓一体数据底座，对立数据存储和治理，反对对上凋谢赋能
该团体在科杰科技的帮忙下，梳理现有数据能力，规划设计了满足将来 5 -10 年的数据能力建设蓝图，以科杰云原生数据底座，对立纳管底层数据基础设施，建设数据标准规范和管理体系对立全域数据资产，并最终实现对组织对立凋谢赋能。
- 搭建湖仓一体数据底座，实现资源对立纳管。
该团体利用云原生湖仓一体数据底座良好的兼容适配性，实现跨云数据集成，对立团体主数据、元数据，同时反对多租户。云原生架构带来的资源弹性扩缩容能力使该团体可能便捷、灵便为二级单位进行资源调配，满足其个性化的资源应用需要，同时其良好的扩展性也可能反对团体将来数年的数字化倒退。
- 对立全域数据资产，构建数据资产管理体系。
首先，该团体在科杰科技帮忙下进行了数据治理工作，残缺重构数据仓库体系，设计外围数据指标模型，制订数据规范，标准数据品质，构建起全域对立的数据资产。
其次，通过一系列工具平台落实数据资产治理框架、规范、制度和流程，造成数据资产管理体系。建设对立的数据开发治理平台，与对立零碎认证系统集成，集离线、实时开发能力于一体，实现全域数据的接入、加工及工作保护和治理；创立数据资产目录，对数据指标、标签进行分类管理，造成数据地图和血缘关系图谱，面向业务构建商品、店铺、交易、利润、会员、营销等主题，不便数据查问调用。
- 发展数据资产服务化经营，实现对立凋谢赋能。
搭建数据服务平台，提供数据 API、标签服务、实时服务、报表服务和大屏服务。如对于面向用户画像、个性化举荐等智能利用的特色指标，可能通过指标平台，以及 API 公布数据服务形式，间接提供给业务人员应用。同时，平台将数据管理体系进一步贯通组织架构和业务主题，面向不同角色和不同业务场景，进行数据能力的整合，撑持团队协同开发，实现数据资产的共享替换。
融入 DataOps 理念，通过平台多个数据开发管理工具的有机串联，实现数据开发运维一体化。数据迷信平台反对托拉拽的形式编排算法组件，辅以对数据利用模型算法构建形式和流程的领导，大大缩短数据分析模型开发上线的速度，同时反对复用，算法和业务过程疾速交互造成闭环，优化后果能疾速传递到业务端，实现数据反哺业务。
图 5：湖仓一体数据智能平台
打造对立凋谢的数据合作体系，继续稳固赋能业务倒退和翻新
通过团体对立大数据底座建设，该批发团体全方位欠缺了从底层基础设施到下层数据利用能力，具体而言：
- 资源对立纳管，高效稳固撑持下层业务发展。通过基础设施对立纳管和灵便的资源调度，缩小零碎危险，晋升下层业务稳定性，同时升高了总体领有老本。
- 对立数据资产体系，为企业数据资产继续凋谢共享打好根底：买通消费者在 WEB、APP、小程序、门店零碎的数据，以及各业务零碎会员、门店、电商、供应链、财务等全域数据，进行全链路数据血缘关系数据资产积淀，并造成公司内对立的数据门户，晋升企业数据资产的应用效率。
- 数据资产服务化经营，实现组织规模化数据合作。数据研发人员通过数据中台实现大规模我的项目跨团队协同开发的能力，极大地提高了研发人员工作效率；业务和经营人员在平台内实现数据需要在线提报并主动流转，并通过高度可视化的性能实现业务数据自助剖析和散发，极大地晋升了数据在企业内流转和应用的效率，实现由传统的被动数据研发模式到基于对立数据资产之上进行高度复用的开发模式降级转变。
3. 从治理到经营，DataOps 开释数据中台价值
数据中台的意义在于连贯数据底层与数据利用，提供一个企业级的数据能力共享和复用的平台。近来大火的 DataOps 方法论，其指标是进步数据分析品质、实现数据利用麻利开发，DataOps 将成为晋升数据中台能力的重要途径。
3.1 数据利用多元化导致数据利用开发效率低
随着企业危险管制、精准营销等数据利用场景越来越丰盛，背地须要关联剖析、归因剖析、预测剖析多元化数据分析能力撑持。这意味着企业从依附 BI 报表，被动式剖析、集中式展示为主的传统数据分析阶段，正在进入去中心化、被动剖析、智能剖析为特色的数据分析新阶段。数据利用的多元化同样带来数据品质、数据利用交付以及数据用户协同等方面的挑战和艰难。
数据品质难保障
业务影响：数据起源的业务零碎不标准更新表构造；数据口径不统一；数据填报不标准等
技术影响：ETL 过程中字段变更导致数据加工出错；零碎服务异样导致调度工作执行失败；数据存储架构调整如上云引发数据源的超预期扭转；
数据用户类型简单，数据利用交付迟缓
企业中的数据用户类型简单，如 IT 部门的零碎工程师和数据库管理员，BI 团队中的数据工程师、数据管理员和报表开发人员，以及数据分析师、数据科学家以及业务部门的数据消费者等，协调所有数据用户及各自的工具消耗大量人力物力。这也导致本来从业务提出数据需要，实现数据建模、数据开发到数据利用的线性流程合作变得更加艰难，交付周期长，效率低下。
数据利用问题可能呈现在数据采集、存储、计算、交融、建模、开发、运维等多个环节。为满足多元化的数据利用需要，企业须要以数据为配角，兼顾数据全链路，协调数据相干多角色，以继续疾速交付为指标买通数据流。
3.2 DataOps 方法论实现数据利用高质量、继续交付
DataOps 是人、流程和技术的高效组合，用来治理代码，工具，基础架构和数据自身，从而实现数据畛域利用的麻利开发和继续集成利用，优化和改良数据管理者（生产者）和数据消费者的合作，继续交付数据流生产线。DataOps 能力构建蕴含数据工程、数据交融、数据安全和隐衷、数据品质四个方面。而一个成熟的 DataOps 体系应具备持续性、敏捷性、全面性、可信性、自动性等五个特色。
图 6：DataOps 能力构建
图 7：成熟的 DataOps 特色
目前，DataOps 实际尚不成熟，如何将 DataOps 方法论融入数据中台、充分发挥效力，仍待继续摸索。
案例 2：九州通建设数据中台买通数据壁垒、挖潜数据价值
九州通医药集团股份有限公司（以下简称“九州通”）为科技驱动型的全链医药产业综合服务商，立足于医药流通、物流服务及医疗衰弱等大衰弱行业，主营业务包含数字化医药分销与供应链服务、总代品牌推广服务、医药工业及贴牌业务、数字批发、智慧物流与供应链解决方案、医疗衰弱与技术增值服务六大方面。九州通间断多年位列中国医药商业企业第四位，领跑中国民营医药商业企业。
IT 架构简单、数据扩散妨碍数据跨平台共享合作，数据价值难展示
早在 2015 年，九州通团体就开启了数字化转型之路。随着团体规模继续扩充，市场竞争更加强烈，九州通迫切需要施展数据价值反对经营剖析、经营决策以及服务上下游客户。但在数据利用过程中，九州面临 IT 架构和数据层面的痛点。
数据孤岛重大。一方面，九州通团体业务线简单，蕴含中西成药、中药、医疗器械、批发等多业态，各业态又分为团体、地市、区域三级构造。九州通以业务为主导，各业态、各层级别离根据各自需要建设数据平台，造成数据平台架构各异，数据共享合作效率慢。另一方面，同一公司内不同业务单元也会引入不同业务零碎，零碎之间难买通，造成数据扩散。因而，九州通虽贮存有海量数据，但数据难流动难应用，数据价值难实现。
数据规范体系不欠缺，数据品质差。目前九州通未对数据进行分层治理、未建设欠缺的指标体系且不足药品标签；同时数据存在不及时、不精确、不残缺、关联性差等品质问题，造成数据难应用，不能无效反对经营剖析利用。
数据模型复用度低，不足以反对业务利用需要。目前九州通单个数据平台内的数据模型仅反对对应零碎利用，复用度低，导致利用反复开发，浪费资源。同时数据利用在下钻深度、关联广度、数据出现丰盛度等方面都不足以反对经营剖析须要，数据模型有待欠缺。
建设数据中台，盘活数据资产，数字化提质增效
数字化转型大背景下，九州通迫切需要盘活数据资产、挖掘数据价值，推动降本增效、营销翻新。九州通曾先后尝试自建 Oracle 数仓以及 Hadoop 数仓来对立贮存团体数据，尽管投入大量资源，但成果无限。为买通团体各业态各层级数据平台，为业务赋能，九州通决定通过投标建设团体数据中台。通过综合思考技术集成能力、数据开发工具便捷性以及厂商最佳实践经验等因素，最终九州通决定与网易数帆单干。
网易数帆是网易团体旗下 To B 数字化转型技术与服务提供商，为客户提供国产软件根底平台产品及相应技术服务，业务笼罩云原生根底软件、数据智能全链路产品、人工智能算法利用、低代码利用开发平台四大畛域，致力于帮忙客户搭建无绑定、高兼容、自主可控的翻新根底平台架构，疾速应答新一代信息技术下实现数字化转型的需要。目前已服务金融、批发、制作、能源、通信等各畛域头部客户三百余家。
在网易数帆帮助下，九州通历时 8 个月实现了数据中台布局以及数据中台初始化部署，蕴含建设数据仓库、实现数据开发及运维以及数据治理。
图 8：九州通数据中台架构示意图
1）建设对立的数据仓库平台，买通团体跨平台数据，晋升数据利用率
建设数据仓库及分层模型：数据仓库分为数据经营层（ODS）、明细数据层（DWD）、汇总数据层（DWS）、应用层（ADS）共四层。将不同类型数据依据数据模型须要进行分层寄存，防止不同业务部门因对数据利用形式不同，而须要对模型进行反复开发，晋升数据利用率。
数据会集：借助网易数帆丰盛的 Hadoop 大数据平台组件，九州通将多种架构数据平台的数据集成到数仓平台的数据经营层（ODS），并对数据进行荡涤、汇聚、加工和计算。
数据建模：在网易数帆的征询布局帮助下，九州通在不同数仓层建模，其中在明细数据层（DWD）拉通商品、客户、人员、供应商、岗位及组织架构维度数据，搭建主数据公共域模型；在汇总数据层（DWS）建设洽购、销售、供应链、营销、财务等主题模型；在应用层（ADS）建设各业务报表须要的业务数据模型。
2）实现数据便捷开发和运维，晋升工作效率
利用网易数帆提供的一套便捷可视化数据开发工具，九州通数据研发团队可疾速实现离线开发、实时开发、权限治理、资源管理等性能。通过数据运维平台实现工作的监控和报警推送，预估工作实例的产出工夫、展现实例对上游报表影响范畴，实现工作高效运维。
3）对多源数据进行对立治理，升高工作量和资源老本
九州通建设数仓平台汇聚各业态各层级的多源数据，包含不限于各中西成药、中药、医疗器械、批发等业态版块中，团体、区域以及子公司各级的洽购、库存、人力、营销等零碎数据。之后通过数据治理平台对多源数据进行对立治理，包含建设数据地图使业务人员能在海量数据中疾速找到所需数据，通过数据血缘关系展现表的上下游表动静追溯、表的上游工作等；搭建数据指标体系实现跨部门指标定义对立和指标定义治理；建设数据品质管理体系，业务人员可预设多场景下的品质监控规定，并设置邮箱、电话等多种告知模式；建设数据资产管理体系，评估数据资产的老本、价值、品质，优化存储老本，节约计算资源，实现精细化的数据生命周期治理等。
数据中台赋能业务利用，经营效率再晋升
通过数据中台，九州通实现团体简单组织架构下跨业态、跨层级、跨零碎的数据买通，胜利打消数据孤岛；并通过对立的数据架构、模型开发、数据治理等性能盘活数据资产，建设通顺、标准化的数据链路，继续为前台业务利用和剖析提供数据服务，推动营销翻新、晋升经营效率。
打消数据孤岛，实现数据共享共通。九州通通过数据中台对旗下各业态各层级数据进行汇聚，由数据中台提供对立数据进口，实现全团体跨平台数据分享调用。
搭建对立的数据指标体系，实现数据科学管理和疾速响应。本次我的项目共建设 8 个主题域，落地 213 个业务指标，全副指标统一口径、对立治理，能无效防止因指标定义含糊和逻辑凌乱而导致的数据品质问题，大大减少有效、反复工作，同时能疾速进步数据响应速度，如洽购剖析体系中，所有洽购剖析数据需要，均实现秒级响应，均匀 5 秒出后果。
健全客户标签体系，撑持精准客户洞察。本次我的项目开发客户标签共计 6 大分类，共 100+ 个标签，笼罩根本信息、行为属性、交易属性、企业信用及危险信息等，组成标签工厂，对数据进行更精密的分类管理，撑持精准营销决策和危险管制。
利用数据中台灵便疾速开发业务利用，实现降本增效。如通过数据中台开发供应商画像，综合资金周转、供货预期、付款周期、销售状况等信息，为供应商付款审批提供数据撑持；针对业务员开发业务员画像，跟进业务员成单率、访问打算、访问成果等实现精准考核等；针对药店访问开发药店画像，进步业务员访问成功率等。
深挖数据价值，从数据撑持到数据赋能。相较于传统数仓，大数据平台提供了更强的算力撑持，在通过中台整合了各零碎数据资源，利用我的项目实现数据的集中化规范治理的根底上，九州通深挖数据价值，尝试通过 AI 算法模型在业务前侧，包含洽购体系、销售体系、获客体系等方面实现数智化。例如：批发门店的销售预测、流动商品的精准营销、洽购智能 AI 补货、中药生产供应链优化等。
厂商数据集成和征询能力是传统企业搭建数据中台要害
回顾本我的项目施行全过程，厂商的选型对九州通数据中台建设以及胜利利用具备要害影响。对于有同类数据中台建设的企业，在抉择数据中台厂商时可借鉴以下两点教训。
针对具备简单组织架构的传统企业，应抉择具备深厚底层数仓开发以及数据集成能力的厂商。对于简单架构的集团型企业，在数字化过程中，各子公司及各业务常依据业务须要别离建设数仓，造成数仓架构不对立。因而厂商须要具备扎实的组件开发以及数据集成能力，以灵便适配多种数据库环境，实现多源数据高效、稳固集成。
针对技术团队开发能力较弱的传统企业，应抉择具备征询能力的厂商。尤其对于虽有技术团队，但尚未胜利建设数仓平台，且数据利用意识较弱的企业，应抉择具备征询能力的厂商，在厂商帮助下发展梳理业务、制订指标体系、搭建数据模型、治理数据权限、开发数据利用等流动，疾速建设起数据中台，并最终通过厂商常识转移，疾速晋升企业数据中台应用能力和数据建模能力，挖潜数据价值。
案例 3：某高速行业信息化公司建设数据中台，打造高效智慧高速零碎
十四五以来，随着我国开启全面建设社会主义现代化新征程、转向高质量倒退阶段，公路交通也进入高质量倒退新阶段，倒退重心由原来的交通运输网络建设转向交通运输供应有效性和适配性、以及出行服务品质等。倒退数字交通，尤其以 5G、物联网、大数据、云计算、人工智能技术为代表的新基建与交通运输深度交融，成为深入交通供应侧改革、晋升运输服务效力、促成综合交通高质量倒退的重要推动力。
高速行业数据不足融通和利用，相干高速单位晋升经营效率存在艰难
近年来，随着信息化的倒退，高速畛域的相干单位已具备多个信息化零碎，如视频监控零碎、交通流管控零碎、收费站管控零碎、应急指挥系统等，但因为信息系统互相独立，在高速经营中仍会面临以下数据问题：
数据孤岛：高速数据来源于导航系统、ETC、龙门架、路网卡口、摄像头、毫米波雷达、车载终端等形色各样的零碎和终端设备，数据类型简单，且分属于高速公路建设、治理、养护以及经营等四个阶段，导致不同零碎的数据无奈互通互联造成数据孤岛。
数据品质不稳固：因为高速数据的采集来源于不同的感知设施，存在数据不稳固、数据空包、丢漏数据的现状。原有零碎不足数据品质管理体系，导致采集的数据中存在大量缺失信息或有效数据。
不足数据规范：以后高速公路业务数据尚未造成国家或是行业标准规范，尤其不同地区、不同供应商产品的数据格式、模型、表构造千差万别，导致下级单位在进行数据收集汇总时需破费大量人力物力。
难以无效反对多元利用：高速畛域蕴含多元的服务利用及对象，诸如视频监控、交通流管控、收费站管控、应急指挥、绿通查验等服务，现有数据系统存在数据难调用、难应用的问题，不能反对业务利用体验降级需要。
为了更好地赋能各地区的高速公司，晋升各地高速交通的经营效率，某高速行业信息化公司基于高速行业的倒退现状和零碎根底，提出建设数据中台解决上述问题。通过多方考查，该公司综合思考行业教训、产品性能、产品体验以及公司规模等因素，最终决定与国内业余的数据智能服务商每日互动股份有限公司（以下简称“每日互动”）单干建设数据中台。
每日互动成立于 2010 年，是业余的数据智能服务商，为企业客户及政府单位提供丰盛的数据智能产品，便捷、稳固的技术服务与智能经营解决方案，服务行业波及互联网经营、用户增长、品牌营销、金融风控等畛域客户以及政府部门。同时，基于弱小的数据积攒能力和丰盛的数据治理教训，每日互动构建了数据中台——“每日治数平台”，将数据挖掘、萃取和治理能力向各行各业输入，用数据智能帮忙客户解决其理论业务中所遇到的痛点难题。
建设数据中台，实现智慧高速
每日互动在城市大脑、智慧交通、应急治理等公共服务畛域具备丰盛实际，积攒了对人、车、路线、工夫、空间等多因素数据进行关联计算和剖析洞察的能力。依靠于“每日治数平台”一站式数仓搭建、可视化数据资产治理、零代码模型构建、低代码机器学习等特色性能，每日互动和该高速行业信息化公司独特建设数据中台，包含构建数据规范、治理数据资产以及制订数据品质管理体系等，实现了数据资源的对立整合和数据治理，次要使用于反对高速公路的高效经营和高质服务。
图 9：相干高速单位数据中台架构图
数据接入和集成：依靠于每日互动的技术支持，某高速行业信息化公司可将相干高速单位的多个自有信息平台如高速管控平台、设施培修治理平台、隧道管控平台的异构数据，以及牢靠第三方数据对立接入数据中台。
构建数据规范，建设对立的数据仓库模型：每日互动与该公司组织的多个业务专家一起深刻高速业务一线，理清以后数据现状以及数据应用过程中的痛点，依据数据源不同，建设相应的业务主题库，构建起一套残缺的数据规范体系，造成对立、整合的数据仓库模型。
数据资产治理和可视化：基于每日互动提供的数据勘探、数据血统、元数据采集、建表 / 分区治理等工具，该公司可进一步帮忙相干高速单位欠缺数据资产；并且对数据资产进行可视化出现，如数据资产目录层级构造展现，相干单位可便捷地从不同视角检索和治理数据资产。
制订数据品质管理体系：基于数据规范，制订数据品质校验规定，实时对数据品质进行智能监测和预警；联合 AI 算法，定期对数据品质进行稽核，如零碎依据数据缺失情景，参考历史数据进行补充或是对重大缺损数据进行剔除，保障高速数据可用、可信。此外，通过数据血统性能可定期对数据流转过程进行追溯和梳理，实现数据全生命周期的智能治理。
数据利用：多源异构数据经数据中台荡涤、交融治理后造成共享数据，通过 API 以服务目录的模式供各部门调用，打消利用部门对数据品质、数据起源的担心，专一晋升利用体验。
数据中台无效晋升高速运行效率和服务品质
在本我的项目数据中台建设过程中，每日互动梳理建设起一套欠缺的高速数据规范体系，使用于高速行业多个场景的效率晋升，相干单位的高速交通应急处理效率、运行效率和服务品质等多个方面均有显著晋升，具体表现如下。
买通数据孤岛，实现数据高效高质共享：通过数据中台，某高速行业信息化公司将相干高速单位零碎内多个渠道数据进行集成、荡涤、交融治理，造成高质量数据，赋能各业务部门。
实时可视化，晋升应急处理效率：根据每日互动数据中台的图像智能和可视化等性能，该公司实现了对高速交通全局态势的实时感知以及对部分路段路况的实时查问、剖析，并通过大屏监控车祸、拥挤、抛锚等突发状况，能对突发状况实现疾速定位和救济。该公司将此可视化性能利用到路线救济时，救济工夫缩短了 60% 至 80%，救济效率失去大幅晋升。
数据交融，促成路网通顺：通过对 ETC、服务区卡口、高速路网等数据交融，业务人员对停泊超时的车辆进行精准疏导，缓解夜间服务区的大流量痛点，进步服务区的服务质量。
AI 算法预判，晋升通行效率：针对高速匝道等事变多发以及易拥挤路段，业务人员可基于每日互动数据中台 AI 算法进行提前预判和事先预警，为相干高速单位进行路线拥挤疏导提供科学依据和无效撑持，也为民众正当布局错峰出行门路提供疏导，促成路网流量正当散布，晋升高速通行效率。
数据中台厂商综合数据能力为数据中台建设、数据中台利用良好体验提供松软保障
回顾数据中台建设后期、建设中期以及建设前期利用的全过程，数据中台能胜利施展效用、晋升高速交通经营能力有两点关键因素。
1）抉择优质厂商事倍功半：某高速行业信息化公司在进行数据中台厂商选型时，应思考厂商在特定行业已积攒丰盛案例，造成欠缺数据治理方法论，其中行业不限于高速行业。该厂商应具备数据资产治理、数据分析、数据可视化、数据标签等数据治理业余能力以及丰盛的数据治理输入教训，具备成熟的久经市场验证的数据产品引擎与提效工具，能将以往行业教训迁徙到高速行业中，服务高速行业。在本我的项目中基于“每日治数平台”丰盛的行业客户和相干政府单位解决数字化转型难题教训，每日互动曾经积淀出可复用的数据能力、业务能力、效率工具等，因而能疾速为该公司建设数据中台，服务于高速公路建设、治理、养护、经营四个阶段。此外，厂商还应具备算法建模、机器学习、图像智能等综合数据能力，在实现数据整合、数据治理等基本功能根底上，能为数据在多元场景利用提供反对。在本我的项目中，每日互动的数据中台产品“每日治数平台”具备多元欠缺的 AI 算法、图像智能等技术，操作便捷、轻量、易上手，可实现路况实时查问剖析并可视化出现、对路况预判晋升通行效率等性能，为客户的数智化翻新赋能提效。
2）建设执行团队落地生花：除厂商选型外，为使数据中台真正落地、施展最大效用，某高速行业信息化公司在明确数据中台布局、践行数据中台建设的过程中，还需搭建岗位配置齐全的团队，包含但不限于中台建设、中台运维、数据产品经理、数据资产治理、数据经营等岗位来反对中台建设及运维，实现跨组织协同，实现数据驱动。
4. 实时数据平台撑持暴发中的高时效场景
4.1 实时数据利用场景暴发
随着物联网和大数据技术的深刻倒退，企业通过物联网设施或线上零碎能够收集到大量的实时数据。与此同时，实时数据的利用场景也被迅速开掘，如精准营销、风控治理、工业制作等场景中，对实时数据的剖析解决、利用将无效为企业防止损失、晋升效益，企业对于实时数据从产生、收集、解决、存储到产出剖析后果的全链路时延需要曾经从过来的 T + 1 天倒退到到小时级、分钟级甚至秒级，实时数据平台也因而取得极大关注。
然而传统的数仓或数据平台难以反对海量实时数据处理和剖析的需要，企业急需针对实时数据的收集、治理和剖析技术以及基础设施进行优化降级，能够将实时数据端到端地治理起来，并将实时数据转化为可能帮忙业务晋升的工具，利用实时数据晋升业务价值。
4.2 构建端到端的实时数据解决方案
要撑持实时数据利用的需要，须要一套从导入（采集和同步）、存储、解决到查问实时数据的端到端解决方案。
图 10：端到端的实时数据解决方案
能够采集多种类型数据：实时数据起源泛滥，包含线上数据（订单、交易等）、IoT 设施数据和日志数据等，理论业务场景中的实时数据类型也包含结构化数据、视频、音频、文本等，因而实时数据采集须要反对多源异构数据的解决需要，同时因为不同的业务场景中的数据协定不统一，实时数据平台还须要蕴含丰盛的通信协议接口。
高可用、低成本的数据同步计划：实时数据同步过程次要是针对流式数据的解决，在可用性方面，数据同步解决方案须要保障企业级利用的场景下海量实时数据同步的完整性和高可用；在运维方面，数据同步解决方案要具备监控预警和主动运维等配置化的运维计划，升高开发和治理老本。
对立的数据存储和查问：因为个别实时数据平台多采纳离线数仓和实时数仓同步运行的形式会导致开发成本翻倍、数据管理体系简单等问题，应用以数据湖为根底的流批一体的形式来代替原有的离线数仓和实时数仓，能够解决传统架构中的存在的问题。通过流批一体的形式能够将流计算和批计算的存储都对立到数据湖中，使得数据血缘关系、数据品质治理、元数据都能够对立在雷同的数据管理体系下，零碎代码也能够对立进行开发和保护。在数据查问方面，因为同样采取分层架构和数据湖能够反对 OLAP 查问引擎，仍然能够在不同的中间层反对 OLAP 的实时查问。
金融作为数字化水平最高的行业之一，其在实时数据平台方面的摸索和需要相较于其余行业更为当先，金融机构因为传统的批处理数据量大，根底施行架构简单且业务场景泛滥，在实时数据平台的建设方面最好基于原有的批处理根底上进行批处理的降级和流解决的新建，优先选取重点业务场景进行实时数据处理和剖析的试点，取得成功经验再逐步推广到全机构中运行。
案例 4: 某股份制银行搭建实时利用撑持平台，通过实时数据赋能业务价值晋升
随着金融数字化时代的降临，金融业务正在产生粗浅的变动。国内某股份制银行联合市场趋势变动和本身状况，将大数据技术作为企业数字化战略目标的根底。该银行目前处于业务倒退的新阶段，资产规模继续扩充，经营实力一直加强，同时踊跃推动金融翻新，而新业务模式的翻新离不开数据的反对，也对外围数据能力提出了新要求。
传统的数据处理时效性和灵活性无奈满足业务倒退需要
在传统的批处理形式下，通过 T + 1 的全量或增量数据更新和解决能够满足银行内各部门对于经营状况和外部治理等数据分析的需要，然而随着精准营销、危险监控和内控治理等场景对于数据时效性的要求越来越高，银行内现有的批量式、准实时式数据处理效率无奈满足所有的业务场景，将来须要实现对交易、日志等流式数据的毫秒级实时采集、解决和计算能力。
数字经济时代下，银行须要收集和治理的数据量也将继续高速增长，现有的数据基础设施从性能和解决形式层面都难以满足 PB 级海量、混合数据的存储、整合、加工以及实现实时流式新增场景接入的要求，需针对现有的数据基础设施进行保护和降级。
在业务撑持方面，以后的数据交付形式简单且低效，无奈满足疾速变动的业务需要，须要晋升疾速、自主、迭代式平台的交付能力。
该股份制银行综合思考本身业务状况和以后技术能力，提出了搭建实时利用撑持平台来满足海量数据的实时处理和剖析，对于实时利用撑持平台具体的需要如下：
1. 流解决接入和批处理降级
实时利用撑持平台需实现实时流式新增场景接入，须要以现有的 flink 形式，进行实时数据感知和获取以及相干工作的下发；针对批处理工作场景，为配合实现实时需要，需针对配套的批量工作实现开发和革新，对于现有的批量工作要进行保护和降级。
2. 零碎组件优化降级
实现传统大数据服务平台利用撑持集群流式平台的系统升级和版本升级。利用撑持集群很多是自研和开源组件，新的实时利用撑持平台须要在现有根底上进行资源整合和优化降级，包含集成自动化测试性能、集成门户查问性能、优化 ES 存储索引等。
监控计划制订和施行。兼顾建设实时利用撑持平台整体监控计划，并实现相干指标的制订以及开发优化，在现有的监控指标根底上实现零碎、组件、利用、批、流全方位的监控系统升级，保障系统稳固运行和对外提供服务。
3. 集群扩容降级
数据完整性保障。为保障数据完整性，配合实时利用撑持平台扩容打算，在承接更多实时场景的状况下，持续保障集群能够在实时数据生产的同时进行数据备份，并且在集群呈现重大问题或流生产有问题时，能够保障数据不失落。
数据安全保障。为配合平台中实时数仓的建设，丰盛目前的实时、准实时数据接出模式，须要建设配套的平安权限管理模式，进行数据安全管控。
为满足上述需要，该股份制银行在实时利用撑持平台搭建中，综合技术能力、产品成熟度和过往教训等多种思考因素，最终抉择与九章云极 DataCanvas 开展单干。
九章云极 DataCanvas 成立于 2013 年，是一家数据智能根底软件供应商，专一于自动化数据迷信平台的继续开发与建设，提供自动化机器学习剖析和实时计算能力，为政府及企业智能化降级和转型提供全面配套服务。
通过开源产品搭建实时利用撑持平台，利用低代码环境晋升数据开发效率
在我的项目中，该银行的 IT 团队与九章云极 DataCanvas 独特单干，对全行的实时业务场景做了全面梳理，作为构建实时利用撑持平台的根底。在落地层面，借助九章云极 DataCanvas 成熟的企业分布式流数据实时处理，剖析和决策产品（以下简称“DataCanvas RT 实时决策核心“），依靠支流互联网大数据生态圈，引入开源社区软件框架，采取自主和单干研发相结合，实现某银行实时利用撑持平台的搭建和根底数据的筹备，以此发展各业务利用工作。
图 11：某股份制银行全行级实时利用撑持平台架构图
实时利用撑持平台通过对批量数据和实时数据的解决、计算、剖析，尤其是通过机器学习模型对实时数据进行剖析获取业务洞察，进而为上游的业务零碎提供多样化的数据服务。在实时数据利用撑持集群中，九章云极使用 DataCanvas RT 实时决策核心为该银行提供实时指标引擎、模型引擎、数据资产治理、数据作业管理（算子作业、SQL 作业、JAR 作业）、数据服务、日志治理、多租户及租户资源、UDF 治理性能等泛滥模块和性能。
图 12：算子作业开发示意图
其中 UDF 的全称为 User Definition Function，是 DataCanvas RT 实时决策核心作为一个平台级的产品基于 Flink 的框架下开发的低代码数据开发性能，联合预置的算子，让用户能够用可视化拖拽的形式把算子在画布中连贯，组成数据开发工作。在实时利用撑持平台我的项目中，该银行 IT 人员利用 UDF 能够极大缩小流式数据开发工作的难度，晋升开发工作效率，使得实时场景的数据开发上线周期大大缩短。
本次实时利用撑持平台我的项目历经初建、扩容和推广三个阶段：
初建阶段：初建阶段次要是在该银行原有的批处理架构根底上，搭建以 Hadoop 为根底的零碎架构，联合多种开源大数据组件搭建具备实时数据处理和实时交易感知的零碎，并在局部试点场景中上线运行。
扩容阶段：扩容阶段在初建阶段的零碎根底上融入 DataCanvas RT 实时决策核心，并扩容集群规模，在上线时即造成 50 台节点的零碎集群，线上运行 20 多类业务场景，并在后续逐渐扩容至 100 台节点的零碎集群和 80 多个实时业务场景。
推广阶段：推广阶段基于后期的零碎建设根底，遵循标准治理流程，接入更多业务场景，提供及时的数据服务，晋升业务洞察能力。
实时利用撑持平台除了个别的技术和性能需要外，九章云极 DataCanvas 还针对该银行的非凡需要对于 DataCanvas RT 实时决策核心进行定制化开发，包含：
高可用流作业：在 DataCanvas RT 实时决策核心中增加高可用流作业性能，无效解决流作业重启状况下导致的数据提早问题，以及双作业流场景中的基于第三方缓存 Redis 做的状态一致性保障 UDF，本次我的项目中研发的高可用流作业性能也曾经和九章云极一起申请专利。
多租户需要：通过逻辑隔离和在预置算子外开发 UDF 算子如 Redis 状态计算、去重算子、Hbase 维表关联等算子的形式满足该银行实时危险管理系统租户、报表与信息服务平台零碎租户、营销管理系统租户和标签管理系统租户的多租户需要。
实时利用撑持平台优化数据服务，晋升业务洞察
该股份制银行通过九章云极 DataCanvasRT 实时决策核心搭建的实时利用撑持平台，在投产后已实现无间断运行近四年，并且能够有效应对海量数据处理和实时业务场景利用需要：
1. 实现了海量实时数据的解决和散发。该银行在上线实时利用撑持平台后，每日实时报文采集量和准实时数据日采集量有了显著晋升。相似于大额资金变动预警的实时场景中，实时数据经平台规定解决后能够在 0.2 秒内输入预警，目前日预警量达到千万条，实时动帐交易日预警量约百万条。
2. 极大进步了实时场景开发和上线的效率。随着实时利用撑持平台我的项目的施行，平台上撑持的总体业务场景一直减少，均匀每 2 周就能上线一个实时业务场景，截止 2022 年 3 月曾经上线了 80 多个实时业务场景，总体的需要提出部门达到了 15 个，包含经营管理部、信用卡核心、信息科技部、网络金融部等，共波及 3 种业务类型，包含营销类、监控类、监管类，平台在对用户需要的反对上失去了显著晋升。
3. 实用业务倒退须要的流数据计算架构。实时利用撑持平台上线后，实现了十万级以上的 TPS 峰值报文配对处理量，每日全行总线报文采集量加脚印数据采集量达到 20 亿以上。并且随着业务一直倒退，九章云极 DataCanvas RT 实时决策核心也对平台架构进行继续优化，例如最新版本的 RT 产品反对 Flink SQL，能够无效晋升实时数据的开发效率。
流批一体的数据处理能力和低代码环境可显著晋升实时数据处理平台的落地成果
实时数据平台的数据处理能力和开发效率是决定其是否可能满足企业需要的外围因素，总结该股份制银行的实时利用撑持平台建设教训，其余银行在抉择实时数据平台产品时应留神关注以下两点：
流批一体的数据处理能力。在抉择实时数据平台产品时，可能承载企业的流批一体数据处理工作，具备不便的横向扩大能力，并且能够对产品架构继续优化改良，一直引入新的技术和性能，才能够保障该产品能够长期稳固的满足业务倒退需要。
低代码开发环境晋升开发效率。基于 DataCanvas RT 实时决策核心的低代码开发环境，由成熟的测试团队实现工作流的配置和测试。对于简单业务场景则通过大数据开发工程师通过 UDF 算子开发的模式，实现局部数据处理难点的实现，后续将 UDF 算子交由测试团队，通过可拖拽的形式构建数据开发工作流。
5. 政策合规要求推动隐衷计算平台疾速浸透
5.1 政策合规驱动隐衷计算长足发展
随着数字化过程的深入、数据利用场景的拓展，越来越多的企业及机构发现仅开掘外部数据价值不足以应答疾速变动的市场环境及用户需要，如金融机构须要借助其余机构数据欠缺风控模型、实现精准营销；政府单位须要买通多部门数据进步政府治理程度、晋升公共服务效力；医院需联结多家医疗机构共同完成常见病全基因组关联剖析等。企业或机构须要通过数据共享合作晋升经营效率、晋升服务价值。
与此同时，对数据流通平安的担心成为数据共享合作的妨碍。一方面，国家增强对数据分享及利用的监管，相继颁布《数据安全法》及《个人信息保护法》，严格限度数据的不平安流通；另一方面，数据曾经成为企业立身之本，企业须要爱护本身数据资产，爱护数据隐衷。
图 13：隐衷计算倒退驱动因素
隐衷计算能实现数据共享合作过程中的“可用不可见”，爱护数据隐衷平安、满足合规要求，被企业宽泛采纳。企业对隐衷计算技术的需要次要体现在以下几方面。
功能完善，提供全面数据安全解决方案。不同业务场景下企业能承受的平安假如前提不同，如风控、营销场景下，企业能承受可信第三方，采纳联邦学习实现隐衷计算；而在医疗多核心单干模式下，医院会面临串谋攻打、环境攻打、模型攻打等外部攻打，须要交融多方平安计算、同态加密以及可信执行环境独特满足数据安全要求。厂商应具备欠缺的隐衷计算爱护性能，不限于联邦学习、多方平安计算、可信执行环境以及同态加密，满足不同场景下的平安要求。
满足业务高精度、高性能的计算需要。非凡场景如工业决策、人脸识别以及多核心全基因组剖析等，对精度、性能的要求极高。企业应具备底层隐衷计算底座开发优化能力，通过进步模型计算效率优化、通信效率优化、网络带宽优化等多种形式满足业务场景高精度、高性能要求。
提供丰盛数据源。数据源也是企业实现数据合作过程中的一个次要痛点。数据品质将影响数据合作共享的价值产出，因而企业须要筛选、链接适合的数据源。企业心愿厂商具备丰盛的 数据源网络，理解各行业数据特点，能为企业提供数据链接倡议并推动实现单干。
具备场景专业知识，提供建模及算法反对。金融、医疗等实践门槛较高，企业须要隐衷计算厂商具备业余业务知识，能提供失当的数据分析算法和模型，帮忙企业实现产出。
5.2 隐衷计算爱护数据隐衷，实现数据可用不可见
不同场景对隐衷计算技术能力要求不同。如政务联结计算场景下，同态加密即可满足需要；金融风控场景下，须要具备联邦学习、同态加密以及多方平安计算；而非凡医疗场景如全基因组剖析场景下，要求更严格，解决方案需同时具备联邦学习、多方平安计算、同态加密甚至可信执行环境等多种隐衷计算技术。一个普适的隐衷计算平台解决方案如下图所示。
图 14：隐衷计算平台架构图
案例 5：某三甲医院借力隐衷计算发展多核心基因组学剖析，获得冲破研究成果
某三甲医院是一所集医疗、教学、科研为一体的综合性三级甲等医院，脊柱脊髓伤病诊治、关节内伤修复重建、颅脑创伤救治、颅内肿瘤诊疗、器官移植、多发伤、多脏器性能衰竭救治等处于国内领先水平。其中脊柱内科是上海市医学当先业余重点学科，该三甲医院继续推动并引领脊髓型颈椎病钻研。
多核心医疗单干面临数据安全、合规危险
全基因组关联剖析（Genome-Wide Association Study, GWAS）指在全基因组程度上，以单核甘酸多态性 (Single Nucleotide Polytide, SNP) 作为分子遗传标记，进行对照或关联性剖析，可筛选出与简单性状相干的渐变基因位点，对于疾病预防、诊疗和新药研发意义重大。该三甲医院继续关注强直性脊柱炎（简称“AS”）疾病的预防及医治钻研。因为该三甲医院的样本量不足以撑持一项全基因组关联剖析钻研，因而须要联结多家医院及院校共享 AS 患者基因信息进行钻研，以发展更好的疾病防治工作。但在跨机构 AS 基因数据合作和共享过程中存在数据隐衷安全隐患、数据合规以及计算难度大等问题：
数据合规趋严，医疗数据难流通
随着我国《数据安全法》及《个人信息保护法》的颁布，对数据安全监管进一步增强，医疗衰弱信息被列为敏感个人信息，医疗数据的不平安流动被严格限度，只有在采取严格保护措施下方可解决敏感个人信息。目前医院广泛通过数据脱敏隐去患者隐衷，但在理论利用中，数据脱敏无明确规定，主观性高，且已被证实存在爱护破绽，被隐去的信息可能被从新推断进去导致患者身份或隐衷泄露，无奈达成现行法律所要求的“数据匿名化”。对医疗数据隐衷泄露的担心及数据共享合规性上的有余成为生物医疗数据跨机构分享的妨碍。
传统多核心单干仍存在患者隐衷泄露或数据篡改危险
传统的多核心单干通常将多家机构数据会集到第三方平台，由第三方平台集中进行数据处理或计算以实现跨核心合作。但随着参与方增多，数据泄露和被篡改的危险也随之升高，如医疗数据安全爱护的责任归属难界定、各个参与方的医疗权限划分不明确，都有可能造成医疗数据共享过程中的泄露、进犯患者个人隐私或是导致重大医疗事故。
数据体量宏大，数据传输、计算及剖析难度大
基因数据具备高通量、高敏感度的特点，例如本案例中，单个个体的全基因组测序数据量靠近 300G，而全基因组剖析须要几百甚至几千个样本量，宏大的数据体量为数据存储、传输、计算及剖析带来挑战。
隐衷计算计划推动多核心 AS 全基因组研究顺利开展
为躲避隐衷泄露危险，实现基因数据分享和联结剖析，推动本次 AS 全基因组关联剖析我的项目顺利开展，该三甲医院决定洽购隐衷计算解决方案。通过综合思考产品性能、性能、平安以及团队医疗业余素质等因素，最终抉择与锘崴科技进行单干。
锘崴科技成立于 2019 年, 是一家业余的隐衷爱护计算技术服务提供商，由“海内高层次青年人才”、隐衷计算专家王爽传授，前硅谷出名科学家郑灏博士独特创建，具备深厚的隐衷计算、生物医疗信息等畛域的学术和实践经验，团队成员多来自 IBM、Google、Thermo Fisher 等世界五百强企业，业务场景笼罩医疗、金融、保险、政务、安防等。
该三甲医院隐衷计算计划从确定需要、实现跨医院平台部署到实现全基因组关联剖析获取研究成果，历时近 3 个月。
图 15：某三甲医院及单干机构隐衷计算部署示意图
明确 AS 全基因组关联剖析多核心单干需要
为实现 AS 全基因组关联剖析，该三甲医院及单干机构对锘崴科技次要提出三点需要：1）隐衷计算解决方案能提供 AS 疾病全基因组关联剖析管道所需的模型和工具，并反对灵便组合；2）针对跨机构提供的 3000 个样本、单个样本 300G 的数据体量，解决方案应实现计算性能等价于明文计算性能；3）该计划保障数据安全合规。
部署隐衷计算一体机平台
锘崴科技的锘崴信®隐衷爱护计算一体机（以下简称：锘崴信®一体机）蕴含接口层、计算节点、加密层、协同层等，可实现接入医院数据、实现本地计算、对计算结果加密、将加密后的信息通信至全局模型进行迭代，反复计算流程使模型重复迭代至收敛。基于锘崴信®一体机，该三甲医院及单干机构只需实现装置、接通网络、接通数据、配置规定等步骤即可“开箱即用”，简化搭建利用隐衷计算平台的难度。
其中针对数据接通环境，锘崴科技锘崴信®一体机提供丰盛的数据接口，该三甲医院及单干机构能够以文件、数据库或者数据接口等模式将数据接入一体机，即可实现在平安可控的前提下与内部合作方进行数据价值交互。
各数据应用方设计并构建全基因组剖析管道
为满足 AS 全基因组关联剖析钻研需要，锘崴科技开发出 GWAS 分布式计算技术框架 iPRIVATES。该框架交融多种算法，蕴含可定制的基因组数据预处理模块，基于主成分剖析的联邦人口分层模型、基于逻辑回归和对数似然比测验的关联分析模型等。该三甲医院及单干方可灵便地集成和配置不同的全基因组关联剖析管道，不便辨认 SNPs 与 AS 疾病特色之间的关联，取得统计学意义上显著相干的基因位点信息，为前期的实验室验证、确定 AS 早筛生物标志物提供反对。
实现隐衷计算平安
依靠 iPRIVATES 框架，该三甲医院实现与多个跨省单干机构的 AS 基因组数据链接和共享合作，并在多核心合作过程中，保障基因数据共享全链路隐衷平安。一方面基于 iPRIVATES 框架中的平安联邦学习技术，该三甲医院和单干机构在本地终端节点对基因数据进行计算，仅共享替换通过加密后的两头统计值，不分享明文个体数据，爱护数据隐衷；另一方面，依靠于 iPRIVATES 框架中可信执行环境技术，该三甲医院和单干机构能进攻外部攻打、防止因计算过程被篡改，实现对模型自身的爱护。
隐衷计算推动多核心单干高效发展，并获得卓越研究成果
依靠锘崴科技隐衷爱护计算技术，该三甲医院及单干机构在满足数据安全合规要求的前提下实现多核心 AS 疾病全基因组关联剖析，获得重大研究成果，取得业内高度认可；并在缩短评审周期、进步统计意义、升高资源耗费等方面有良好体现。
研究成果获宽泛认可：基于锘崴科技提供的 iPRIVATES 隐衷计算框架，该三甲医院对于强直性脊柱炎的研究成果发表在生物信息学顶级期刊 Briefing in Bioinformatics 上，同时取得 2019 年度上海市科技进步奖一等奖，收到宽泛赞美。
计算结果的可靠性、准确度大幅晋升：基于隐衷计算解决方案，该三甲医院最终与多家机构达成多核心单干，样本量相较单核心模式进步 3 - 5 倍，统计意义也进步 1 个数量级，钻研后果的准确性、普适性大幅晋升，有利于 AS 疾病的预防和诊治工作。
计算效率显著晋升，计算结果等价：iPRIVATES 框架在算法工夫上等价于数据物理集中的形式，且研究成果的特色靶点也与集中式计算结果统一，验证了隐衷计算方法在解决生物医疗多核心数据合作方面的可行性和微小后劲。
大幅缩短数据危险评审周期，升高多核心单干工夫老本：传统模式下发展多核心钻研前，须要各医院机构评审数据共享危险，评审周期可能长达一至两个季度。而隐衷计算计划能实现在数据不出域的状况下实现多核心的单干，躲避数据泄露危险，因而能大幅缩短医院多核心单干的评审周期，缩小治理流程老本，减速联结钻研。
升高资源耗费：传统多核心模式下，所有样本数据需汇总到该三甲医院再进行计算，对存储、算力条件要求极高，而基于联邦学习的多核心模式利用分布式计算框架，物理扩散，逻辑集中，对参与方的计算资源损耗和计算条件要求降落。
隐衷计算厂商选型决定多核心医疗单干成败
隐衷计算计划在该三甲医院 AS 疾病钻研中起到重要作用。回顾该三甲医院施行隐衷计算解决方案全流程，隐衷计算厂商选型对隐衷计算解决方案的胜利具备决定性作用，因而对于同样有多核心医疗钻研需要的医院，在抉择隐衷计算厂商时，应留神以下三点厂商能力。
抉择有齐全自主知识产权，能兼顾性能、精度、平安等多方面实力的隐衷计算厂商。因为医疗行业数据体量宏大、精度要求刻薄、数据安全危险高，要求隐衷计算厂商除建模能力外，更要具备优化调整隐衷计算底座并发性、准确性、算法复杂性等方面的自主开发能力。
抉择有丰盛医疗教训、具备业余医疗常识的厂商。医疗钻研实践门槛高，因而要求隐衷计算厂商具备医疗从业教训或是具备业余医疗常识，精确了解不同医疗业务中的数据分析实践，进而提供对应的医疗算法和模型，如在全基因组关联剖析中能提供人口分层模型、关联分析模型。甚至更进一步，容许不同医疗机构依据业务能、精度和平安等多方面均衡的解决方案。
抉择具备丰盛医疗数据源的厂商。生物医疗数据的各项科学研究通常都须要大量样本，繁多数据源的数据量很难满足一项研究所需的样本量，因而，能链接多方数据源，诸如医院、第三方检测公司、影像核心等，买通各医院、药企上下游数据网络，为医院聚合大量样本，将能为医院节俭大量的资源和工夫。
6. 属于业务端的数据分析时代降临
图 16：数据分析平台趋势及解决方案演进示意图
6.1 数据分析需要向业务端演进
数据分析平台作为企业数据价值提炼和开掘的最初一站，长期以来都是企业数字化建设的重中之重。然而，因为数据分析工作的专业性和复杂性，以及数据逻辑与业务逻辑之间的高度差异性，导致数据分析和业务之间存在较高的壁垒，这对企业的数据经营体系和数据文化提出了很高的要求。近年来，随着内部市场环境不确定性的加强，以及企业数据利用的一直深入，数据和业务之间的壁垒在很大水平上影响了企业数据价值的传递，具体而言：
业务人员渐成数据分析工具终端用户。外部环境不确定性减少，市场需求瞬息万变，业务侧对数据分析的需要也随之调整，逐步脱离固定的剖析逻辑和报表，向个性化、多样化转变，而传统数据分析产品在搭建之初就已造成固定的数据分析模型，数据人员须要通过简单的定制化工作能力解决这些个性化剖析需要，导致沟通老本高，期待周期长，数据分析后果滞后于业务动向，业务人员直接参与数据分析的需要不能及时满足。
从团体对立赋能走向场景化建设。数据分析平台往往是企业从全局登程进行建设，由企业数据中心满足所有部门的数据分析须要。随着企业数字化程度进步，各部门逐步无奈满足于来自团体数据中心的固定报表式数据利用，而是心愿可能将其特有的业务逻辑与数据分析能力深度联合，造成丰盛粗疏的数据分析场景，满足业务精细化经营的须要。
6.2 低门槛、场景化解决方案推动数据与业务深度交融
面对个性化、场景化的剖析需要，企业须要通过更加智能化、麻利化的数据分析解决方案，晋升剖析的灵活性，填补业务和数据间的壁垒，真正让数据分析能力下沉到一线业务人员和具体业务场景。
1）为业务人员和管理人员搭建新型智能化、自助化剖析平台。以智能化、自助化为特点，面向业务人员的新型剖析引擎搭载 NLP to SQL、机器学习、低代码等技术，提供自然语言等新型交互方式，便捷地低代码、零代码数据分析模板搭建形式，从而简化数据筹备、数据挖掘和建模以及数据后果散发全流程操作，为业务人员提供弱小的数据分析能力。具体而言，零碎能帮忙用户轻松拜访数据，并实现实时剖析，满足业务实时剖析需要；零碎能帮忙用户通过托拉拽操作，生成丰盛的可视化图形，并反对指标和维度的切换，以及指标和数据的关联剖析，让业务人员通过极为简略的操作实现灵便的数据分析，大大降低数据应用门槛。
案例 6：精准高效数据分析实现业务与数据深度交融
某出名互联网教育公司是我国最具影响力的综合性教育团体，领有素质教育、国内教育、成人及职业教育、教育服务与反对、在线电商等多个业务板块。
多重挑战，数据分析体系面临瓶颈
作为行业当先的教育团体，该公司较早开启了数字化摸索，但因为短少专门的数据管理及剖析工具与迷信的数据管理体系，在理论运行过程中存在诸多问题：
- 取数繁琐，数据管理难对立。因为企业外部多零碎间未在数据层面买通，数据权限治理不清晰，各分公司频繁须要总部帮助从多个零碎导出数据并进行初步加工，团体侧数据响应工作量大，反馈慢，效率低。
- 剖析效率受限，共性需要难满足。数据展现工具局限于 Excel 数据透视表，出现模式繁多，不足灵活性。因而，各地分公司在数据规范存在较大差别的状况下，很难满足各分公司对数据分析的个性化需要。
- 散发不及时，推送慢老本高。在剖析后果推送方面，原先数据人员需将剖析后果手动发送至指定的群聊或邮箱，消耗大量人工成本，无奈在数据分析后果产出第一工夫推送到相干负责人。
三措并举，建设高效、精准的数据分析体系
为解决上述问题，该公司决定面向整个团体搭建大数据分析与可视化平台，以实现精准、高效的数据分析。在充分考虑本身管理模式与产品适配性、产品易用性等维度后，最终抉择观远数据作为合作伙伴，共建大数据分析与可视化平台。
观远数据作为一站式智能剖析与服务提供商，依靠在数据分析和商业智能畛域多年实战经验，致力于为互联网、金融、批发、生产、高科技、制作等行业的当先企业提供一站式数据分析与智能决策产品及解决方案。截至目前，观远数据已深刻服务联合利华、3M 中国、招商银行、安踏、华润集团、扬子江药业、元气森林、小红书、蜜雪冰城等 400+ 行业当先客户。
基于 BI 平台，单方携手搭建了团体——分公司数据分级管控体系，搭起数据分析治理和合作的残缺“骨架”，并通过平台弱小性能，实现全面自助式剖析、自动化推送预警，充盈了数据分析的内容。
图 17：观远数据分析利用界面
起源：观远数据
- 数据管理模式改革——地方厨房集中供应，分公司按需取用。首先将多零碎数据对立录入团体数据仓库，再推送到观远 BI 平台数据中心，造成团体对立的根底数据层。随后，团体作为“地方厨房”，对立治理各学校数据拜访权限，并根据权限管控机制将数据凋谢给各学校，无需人工干预；最初，团体将权限下放，由各个学校自主治理外部用户，学校通过观远 ETL 将数据进行规定梳理和加工后造成各自独有数据集，并基于本身数据集自助生成个性化看板。这种形式不仅保障了数据安全，晋升取数效率，更晋升了分公司和学校数据管理剖析的灵活性。
- 数据分析能力晋升——灵便凋谢的自助式剖析。单方以业务价值链和场景为根底细化数据指标，搭建数据分析模型，并提供丰盛的报表类型。
首先将客户全生命周期数据上线观远 BI 平台，对多个外部细化节点造成对应数据和指标撑持；其次面向本身业务场景与角色划分多个数据分析模块，在对应模块中进行该业务板块的专题剖析；同时模块之间能够进行穿透和级联剖析，实现对某一数据的精准追溯归因；最初，观远 BI 平台提供丰盛报表图形，高深莫测，便捷和精准定位问题环节。
此外，观远 BI 平台可能面向不同角色提供自助式剖析体验。
面向数据分析人员，观远 BI 平台数据报表可能自动更新，数据人员可依据本身须要灵便搭建数据看板，同时便捷的数据关联和图表穿透性能大大晋升了数据人员进行数据指标关联摸索的主动性积极性。
面向管理者，观远 BI 平台为不同管理层级用户提供多维度数据同环比剖析，直观的图表贴合管理者信息提取习惯；同时，针对该公司学校管理者较少在 PC 端办公的状况，观远数据提供挪动端入口，使用者可能通过简略上下左右滑动形式查看数据及变化趋势，进行数据穿透，具备极高的灵活性。
- 剖析报表秒级推送——智能化订阅和推送预警。首先，观远 BI 平台和该公司外部对立认证的零碎买通，实现对立登录，精简前端操作链路。其次，针对业务数据每日高频刷新，而管理人员忙于日常办公不能及时查看数据的问题，平台反对自主订阅式推送，升高人力老本；最初，针对重要业务指标，观远 BI 平台提供预警性能，当某一指标冲破阈值，音讯可能分秒级主动推送到对应负责人的钉钉，从而可能对问题进行疾速感知和响应。
图 18：观远数据互联网行业数字化经营解决方案
并行不悖，数据分析平台落地推广
在与观远数据单干后，该公司为激活团体外部活用数据的习惯，成立 BI 推广小组，创造性地推出了团体与学校的三类单干模式，并面向整个团体举办 BI 挑战赛。
在 BI 平台建设初期，公司总部为进行针对性赋能，更好地帮助各地分公司实现其个性化数据分析需要，成立 BI 推广小组，通过与各学校的深刻交换理解其业务现状和数据分析能力，最终造成团体与学校数据单干从重到轻的三类模式：
图 19：团体总部与学校数据单干三类模式示意图
BI 推广小组胜利将观远 BI 平台推广至公司各个城市，初步在团体外部造成以 BI 平台为依靠的数据文化。
2. 全面上线观远 BI 平台后，为进一步晋升覆盖率，该公司举办了 BI 挑战赛，各校区依据本身数据需要指定参赛命题，以物质奖励吸引参赛，并各自抉择本校区优良选手在团体层进行比拼，通过评委的粗疏点评加强选手数据分析能力，同时积淀优秀作品进行复用。
在团体总部的大力推广下，全团体人员在观远 BI 平台之上逐渐挖掘出团体数据分析潜能，在外部造成了浓重的数据文化。
一以贯之，BI 平台赋能业务与数据深度交融
通过 BI 平台的全面铺开，该公司原有经营剖析逻辑在观远 BI 平台完满兑现，业务与数据的交融水平逐步加深，从而晋升了整个团体开源节流、麻利响应的能力。具体而言：
- 精准数据分析赋能精细化业务经营管控，实现开源节流。针对招生和老本两大重要问题，观远 BI 平台可能让该公司管理层对于企业要害数据指标进行精准剖析和洞察，生源线索回访反对从原来的一月后回访精密到一周、两周、三周后，从而实现精细化业务管控，更有针对性进行扩新，升高经营老本。
- 高效数据分析与推送赋能业务敏态调整，疾速实现业务转型。首先，观远 BI 平台晋升了取数、剖析、可视化和后果推送全流程效率，使业务侧从原来的预先响应转变为事中无效干涉，大大晋升了业务的敏捷性。其次，受“双减”影响，业务改革导致数据分析逻辑也要随之进行重大调整，观远 BI 的轻量化数据分析能力反对数据分析需要灵便变更，无效节约改革的工夫、人力、资金老本，帮忙高低疾速适应并投入新业务的运行。
2）在不同业务场景选用嵌入数据分析能力的 SaaS 产品。
出于投入产出比的思考，大量企业在财务、营销、HR、供应链等各个业务场景中应用垂直畛域厂商的 SaaS 产品进行合作与治理，而这些产品往往在本身畛域曾经造成高度成熟和体系化的业务逻辑积淀，而在产品中嵌入数据分析能力则可能帮忙企业疾速且具备针对性地实现垂直业务场景中的各类剖析需要，在各个业务场景实现业务和数据的小闭环，晋升精细化经营程度。
案例 7：分贝通借助衡石科技数据分析 PaaS 平台疾速落地数据分析能力，实现产品价值进阶
北京分贝通科技有限公司（以下简称“分贝通”）成立于 2016 年，致力于为企业提供整合费控、场景、领取、报销于一体的新一代收入治理平台，通过企业领取 + 员工垫付报销，实现无死角笼罩全副企业费用收入，帮忙企业费用治理更高效，更优化。目前已累计服务元气森林、海底捞、汤臣倍健等数千家高成长企业。
数据分析能力渐成客户刚需，自研、外采均难以满足
在业财交融的大趋势下，财务的工作重心正逐步从根底财会过渡为数据统计、经营剖析，企业财务人员及管理层对数据分析和报表的需要强烈。因而，对于分贝通而言，SaaS 产品数据分析性能的齐备性间接影响到新客拓展与老客续约。
在数据分析性能上线之前，为了解决客户对数据分析报表的需要，分贝通只能通过零碎 + 人工解决的形式，由分贝通的业余参谋帮忙客户做数据梳理，再以 PPT 模式提供给客户。每份报表须要数集体天的工作量，每月数十份定制报表的需要不仅为分贝通带来了很大的累赘，同时也只能服务局部 KA 客户，难以满足所有客户财务部门定期定量的数据分析、报表需要。
基于上述痛点，分贝通迫切需要在产品中减少数据分析能力，满足各类客户的业务人员和管理层对于数据分析的共性和个性化需要，同时晋升公司外部对大客户定制化报表的服务效率。然而分贝通发现，无论是自研还是洽购市场上支流 BI 产品，均不能齐全满足当下需要。具体而言：
- 自研投入老本过高：分贝通产品需聚合 20 多个场景、API 直连 200 家以上供应商，自研数据分析和报表性能须要投入数十位业余数据工程师继续研发 6 -12 个月，且面临较高的研发失败危险；外采 + 自研的计划下，因为大多数 BI 厂商短少产品性能模块化输入的能力，导致洽购和维护费用昂扬，且须要设置专门的报表团队，老本总计过百万元 / 年。
- 外采产品，个性化剖析需要难满足：分贝通客户群体行业属性和体量差别大，对于个性化剖析需要，市面支流 BI 产品广泛须要由业余数据分析师依据需要从新搭建分析模型能力实现，无奈由业务人员进行自助剖析，应用这类产品无奈扭转分贝通需破费大量人工成本为客户代劳的状况。
嵌入衡石科技数据分析 PaaS 平台，满足场景化数据分析和多租户治理需要
通过多方探寻，分贝通接触到衡石科技，经评估后认为，HENGSHI SENSE 数据分析 PaaS 平台在技术先进性和产品成熟度方面具备显著劣势，可能与 SaaS 软件疾速实现无缝对接，模板化积淀剖析场景，并一键公布给 SaaS 多租户，完满贴合分贝通的需要，随即与衡石科技开展单干。
衡石科技是一家数据分析和 BI 畛域的标准化软件厂商，外围团队来自 Amazon、BAT、秒针等顶级高科技公司大数据部门，以 Analytics as a Service 状态，灵便高效地生成高价值的数据利用场景，赋能各行业客户继续构建数据生产力。
衡石科技为分贝通提供 HENGSHI SENSE 数据分析 PaaS 平台，以弱小的数据全生命周期治理、剖析和可视化能力，以及成熟的多租户性能，帮忙分贝通轻松搭建起既能满足客户多样化大数据分析需要，又能实现平台多租户数据主动隔离的在线数据分析体系，全面晋升客户企业财务数据分析的便捷性、有效性，同时确保数据安全性。
- 笼罩数据全生命周期，高效便捷满足客户多样化个性化数据分析需要
高效低门槛 HQL 语义建模：HENGSHI SENSE 依照 ELT + Embed 的新型剖析范式，联合衡石科技独创的 HQL 语义层彻底实现存算拆散，数据分析无需依赖数据仓库的数据处理性能，更加高效；对立数据定义及指标定义，大大降低数据分析门槛，真正实现将数据分析能力凋谢给业务人员应用。
零代码疾速搭建业务剖析场景：嵌入 HENGSHI SENSE 剖析零碎，具备低门槛，易上手的特点，可能 5 分钟内利落拽实现自助式剖析，帮忙分贝通实现整个数据链路端到端的解决及搭建剖析场景。
丰盛场景化模板和自定义剖析性能一站式满足剖析需要：衡石科技将数据分析能力提供给分贝通，分贝通以多年积攒的业财行业 know-how 与服务标杆客户的需要洞察为根底，对客户所需剖析维度进行整合，再配置到在线数据分析的产品模块中，从而积淀出丰盛实用的数据分析场景。对于分贝通客户可间接利用分贝通已搭建好的费用趋势预测、多维生产比照、行为数据分析等多种多样的剖析场景模板，对于大型客户则提供自定义 Dashboard 满足更高阶的财务剖析需要。
此外，衡石科技提供的数据分析性能反对多屏自适应，能够在手机端和 PC 端的疾速上线剖析场景。
图 20：分贝通嵌入 HENGSHI SENCE 后的在线数据分析性能示意图
- 弱小的多租户服务反对，适配 SaaS 产品数据安全与租户数据管控需要
在认证形式集成上，HENGSHI SENSE 内置了 Oauth2、企业微信、钉钉、CAS、JWT 等多种认证形式，可实现疾速对接，且对于不同的租户可反对不同的认证形式。
在租户数据管控上，HENGSHI SENSE 首先建设了灵便的数据权限管控能力，基于简单组织架构，给不同的租户配置不同的用户属性值，并按账户进行最小粒度权限管制，实现千人千面的成果；其次，HENGSHI SENSE 领有残缺的权限管制体系，能够采纳租户管理员自在管控、租户属性管制租户数据库连贯等多种管控形式，疾速帮忙分贝通实现租户数据的齐全隔离，保障租户数据安全、精确。
图 21：衡石科技 HENGSHI SENSE 产品架构示意图
分贝通依靠 HENGSHI SENSE 弱小的开箱即用能力，短时间内实现产品部署和交付，无需专门的施行团队。后续依附分贝通的客户胜利团队，在两周内实现了与分贝通 20 个 2C 大平台、150 多个 2B2 代理、70 多个终端供应商、自营直采 5000 多个 SKU 的对接工作，相比传统 BI，部署工夫晋升 10 倍以上，无力推动了产品性能疾速上线应用。
低成本疾速满足客户数据分析需要，带来新客转化与续约继续晋升
分贝通上线 HENGSHI SENSE，不仅大大节约了分贝通的自研老本和人工制表老本，同时大幅晋升了分贝通的市场竞争力，用高效便捷的数据分析能力吸引少量客户，推动公司久远倒退。
- 节约人工成本与研发老本
分贝通产品自此实现报表分钟级创立，实时更新，并通过配置按权限间接批量公布，使分贝通数据分析效率晋升十倍以上，无需数据工程师帮忙，节俭初期研发费用数百万元。
- 疾速迭代降级，晋升产品竞争力
分贝通可能借助 HENGSHI SENSE 架构的灵活性疾速依照新的业务需要和想法迭代数据分析性能，2022 年初上线在线数据分析性能后，分贝通在简直无需依赖衡石科技的状况下，1 个月建成费控行业业余剖析场景，3 个月实现业余的数据分析性能反超业内其余费控 SaaS 厂商，产品竞争力大大晋升。
- 实在降本，大幅晋升客户满意度
分贝通借助 HENGSHI SENSE 满足财务在进行费用治理时 90% 以上的数据分析需要，通过数据分析辅助规定设定后，为分贝通每家客户均匀节俭 20% 以上开销，间接优化了终端企业的费用收入。同时，分贝通数据分析模块能够间接生成业务回顾报告供财务人员高效汇报工作，将产品价值间接传递到客户企业外围管理层，大大加深客户对分贝通产品价值认同。
7. 数据智能行业利用从监测、诊断性剖析走向智能决策
7.1 企业需要由辨认现状和问题向实现智能决策转变
在数字化浪潮下，人们日常生产生存而成的数据一劳永逸，数据逐渐成为企业、政府部门开展业务的重要依据。企业纷纷进行数字化转型，在采集数据、存储数据、治理数据、计算数据层面曾经建设了认知。
当下，企业面临精细化经营需要，多变的用户需要对企业决策效率提出更高的要求，简单的利用场景减少了决策思考难度。然而传统的大数据和人工智能技术建模和剖析只能辨认现状和问题，在根因剖析、数据关系开掘和决策反对方面作用无限，依然须要大量人工染指能力给予业务反馈，不能满足企业决策速度要求。企业对于数据智能利用需要正在从数据采集监测、诊断性剖析向决策反对转变。
企业、政府部门须要使用更先进的人工智能技术高效精准地搭建算法模型进行业务判断、辨认以及预测，从广度和深度上充沛开掘数据价值，为企业和政府部门业务发展高效赋能。企业和政府部门对数据智能解决方案有以下几个层面的需要：
一是深度开掘数据价值，进步数据利用率。宽泛收集、存储、治理海量数据当前，在利用层面更须要对数据进行计算和剖析，判断数据性质，剖析数据特色，联合各行业畛域常识积攒深度开掘数据价值，为企业和政府部门提供决策参考。
二是精准疾速出具最优解决方案。决策场景遍布企业和政府部门业务环节，抉择哪个排产计划最优？哪个出行计划最正当？哪个营销计划成果最好？面对每个具体场景，可能宽泛采集相干畛域的信息，疾速组合造成多项解决门路，在场景的约束条件下出具优决策计划。
三是深刻利用场景，造成行业畛域常识积淀和工作方法论。数据基础设施构建曾经成为企业和政府部门数字化转型过程中的必经之路，但行业利用解决方案还要与行业常识深度交融，充分运用专家教训，造成行业畛域常识积淀和工作方法论，才可能在具体业务场景中充沛地、短暂地施展数据价值。
7.2 灵便利用智能决策技术高效解决企业业务决策难题
现阶段，基于上述需要及痛点，使用机器学习、深度学习、强化学习、运筹优化、常识图谱等人工智能技术和大数据技术深度开掘数据价值，辨认判断数据性质，构建数据常识网络，综合多项信息建设训练模型，一直优化模型精准度，疾速输入优质的决策计划，凭借更多样的出现模式以反对各畛域企业或部门实现高效决策。
图 22：数据驱动的企业业务决策流程
7.2.1 使用平安大数据解决方案监测潜在威逼，保障数据安全
在数据安全方面，可将数据存储和分析模型一直扩大造成存储剖析集群，对海量数据进行全量数据存储和实时查问、多维分析。通过训练 AI 分析模型对平安数据进行判断和剖析，从海量数据中提取特色，实现危险断定，实时对已知和未知的平安威逼进行监控预警。
案例 8：某大型金融组织使用多级联平安计算剖析零碎高效解决全流量平安数据
某国内大型金融组织处于我国银行产业的外围和枢纽位置，对我国银行产业倒退施展着基础性作用。截至 2021 年底，除总公司外，在全国范畴内设有 30+ 家中央分支机构，创投分支机构，以及境外国内分公司等。对于这样的金融枢纽企业而言，其治理与技术体系规模简单且宏大。为应答场景日益简单的银行清理业务以及不法分子层出不穷的钓鱼邮件、web 攻打等危险，该金融组织组织在网络中构建了应答日益简单多样的危险与威逼的平安防护措施，在晋升安全性的同时，也使得平安数据处理难度大幅晋升。
因而，在简单网络环境和海量日志中，如何对千亿级数据进行全量数据存储和实时查问、多维分析，如何对已知和未知的平安威逼进行监控预警，是否匹配 IT 集中化、数据集中化、基础设施云化的发展趋势，以及是否反对多级级联部署、多分支机构平安治理等，是该大型金融对平安大数据解决方案的考查重点。
基于以上思考，该大型金融组织须要可能采集、整合、治理、剖析、监测大规模平安数据的多级级联部署的平安计算剖析平台，通过可行性研究和对泛滥技术计划的遴选，最终抉择了斗象科技作为合作伙伴。斗象科技成立于 2014 年，是中国当先的网络安全数据智能与平安经营提供商，为政府及企业提供平安数据智能与平安经营产品的解决方案。
该大型金融组织与斗象科技单干搭建的平安大数据我的项目须要实现以下指标：
图 23：某大型金融组织平安大数据我的项目指标
1）大规模的网络流量采集：解决方案可能反对该金融组织大规模网络流量采集、检测与剖析，适应将来 5 -10 年团体网络倒退布局；
2）高可用、可程度扩大的零碎：在业务流动流量激增、异样等状况下，零碎还具备高可用性、反对程度灵便扩大，可能满足解决性能晋升和存储扩容的需要；
3）大数据溯源、取证：零碎以大数据技术为根底，对网络报文进行高速捕捉、深度解析与存储，反对异样事件的回溯剖析以及调查取证；
4）反对多级级联部署、多分支机构平安治理：零碎以数据分析为外围，驱动常态化攻防体系一直建设和欠缺，实现不同层级进攻零碎之间的合作与联防联控。
依据现有架构和内部教训，建设多级联平安计算剖析平台
在平安大数据我的项目中，该大型金融组织的 IT 团队与斗象科技团队独特单干，对团体总部、分支机构平安业务进行了整体梳理，构建了以数据分析为外围的 PRS“核心计算 + 区域节点”级联解决方案架构。
PRS“核心计算 + 区域节点”级联架构是由上海、北京的全网络流量平安剖析零碎控制台和部署在全国 32 个全网络流量平安剖析零碎引擎组成。
图 24：PRS“核心计算 + 区域节点”级联架构
斗象科技提供的解决方案中，上海、北京总部的 PRS-NTA 零碎控制台能够实现整体级联计划的数据汇总、剖析与治理，省级分公司能够向总部控制台同步各分区的威逼告警信息、配置信息等。两台高可用的治理控制台能够保障若其中一台呈现故障，另一台也能失常治理流量平安剖析引擎，并放弃所有性能失常应用。
32 个省级分公司的 PRS-NTA 平安剖析引擎能够进行区域流量的协定解析、威逼检测及数据加工存储，包含引擎治理模块、流量侦测模块、数据存储模块、模型检测模块等。平安剖析引擎将流量日志保留在本地，最终将危险信息通过互联专线上送到上海、北京的全网络流量平安剖析零碎控制台中，控制台可对所有引擎的所有危险信息对立管控。
斗象科技的 PRS-NTA 平安剖析存储集群能够实现海量数据处理能力。在数据采集层利用 DPDK 进行数据包捕捉，利用最小的资源捕捉最全的数据包，进而通过音讯传输层的 Kafka 集群将数据包传递给平安智能剖析引擎的业务利用中，满足对网络流量数据的全面治理。再通过数据解析层将原始流量数据进行深度报文解析和根底平安辨认，可进行特征分析、统计分析、智能平安剖析、攻打画像剖析、考察画布剖析和异样行为剖析，将剖析数据用归一化格局存储在平安数据湖中。除了实时剖析数据外，平安数据湖还可存储原始数据和零碎数据，可能为所有级别的计算与决策制定提供所有类型数据汇合的撑持。
该级联方案设计对控制台、引擎之间互联专线的带宽负载并不会造成压力，当控制台须要查问对应的危险数据详情时，可间接免密拜访各区域引擎的流量日志，最大化保障平安危险集中管控的时效性。同时，控制台、引擎之间的数据都会以加密的形式传输，保证数据的安全性、可靠性、完整性。
平安计算剖析平台满足稳固采集、全量存储、精准回溯、集中管控平安数据的多层次需要
该大型金融组织通过分支试点建设、全面落地平安计算剖析平台，在平安数据检测与剖析上实现了以下价值和成果：
第一，稳固的数据采集性能，具备全量数据存储、高速检索以及灵便的扩容能力。剖析平台可能采集并实时处理 60-80Gbps 的数据，日均流量日志数达百亿条。剖析平台可对数据进行冷、热拆散解决，满足了团体 PB 级数据存储与秒级检索的需要。平安剖析引擎零碎能够反对横向无缝扩大，可能满足将来 5 -10 年的平安建设扩容需要。
第二，可能进行安全事件回溯与调查取证。全流量平安计算剖析平台可对协定上下文与协定内容进行调查取证，能够疾速定位危险事件与协定事件的关系。同时，还能够触发告警事件，通过查看告警事件剖析，能够追溯攻打事件产生的工夫、IT 资产、攻打类型等。
第三，可能实现级联部署和集中管控。落地的平安计算剖析平台反对级联部署和集中管控，分公司能够通过互联专线将告警事件上送，在总控平台上查看告警信息。不仅如此，在总控平台上能够对原始数据选定区域后进行查问，可能连贯到上层剖析平台进行查问，实现平安数据的集中管控。
全流量平安计算剖析平台无效升高人力参加老本、进步平安经营效力
1、借助 AI 赋能平安利用，升高人力参加老本。人工智能能够间接利用原始数据进行训练，从大量的数据中提取特色，主动实现分类断定的工作。在保障监测成果的同时，还可能对人工、非智能技术手段起局部代替作用，从而降低成本。
2、通过人机联合的形式，建设多维度的网络安全进攻体系。该大型金融平安计算剖析平台 PRS 可能在第一工夫发现和辨认威逼，其智能检测机制有助于简化流程、降低成本。同时，可能全面提高网络空间各类威逼的响应和应答速度，全面提高危险防备的预见性和准确性。
3、改善平安进攻体系和进步平安经营效力。全流量平安计算剖析平台 PRS 可能全面提高威逼攻打的辨认、响应和应答速度，晋升危险防备的预见性和准确性，极大地改善了企业平安进攻体系，进步了平安经营效力。
7.2.2 融媒体技术为媒体畛域高效采集、生产、散发和接管内容提供更优计划
融媒体平台是数据中台与媒体业务联合的产物，帮忙企业交融多源异构数据，汇聚媒体企业历史数据资产、承受内部共享的数据信息、实现外部资源凋谢互通，构建媒体畛域常识体系，为内容翻新继续赋能。
案例 9：新华社建设智慧中台，实现融媒体数据、业务、渠道高效兼顾
新华社媒体交融生产技术与零碎国家重点实验室（以下简称“新华社国家重点实验室”）是在中宣部领导下、科技部批准建设的媒体交融生产畛域首个国家重点实验室。新华社国家重点实验室适应了全程媒体、全息媒体、全员媒体、全效媒体发展趋势，重点围绕人工智能在新闻生产流程中的利用，面向跨媒体信息剖析与推理、人机协同简单问题剖析、响应及评估等方向，发展媒体交融生产技术与零碎利用基础理论钻研。
在“放慢推动媒体交融倒退，建设国内一流新型全媒体机构”的背景下，新华社国家重点实验室的建设围绕以下三个问题开展：国内一流的新型群体机构须要怎么的技术体系？如何建设新一代技术体系？如何使用先进技术推动国内一流新型全媒体机构建设？根据上述明确要求，新华社从技术底层、技术利用、技术输入三个层面发力，进一步摸索融媒体技术研发以及创新性融媒体技术利用，赋能本身媒体业务智能化转型的同时，助力全行业媒体交融的一体化倒退。
传统媒体治理平台无奈适应当下日益多元的媒资治理需要
传统媒体治理平台普遍存在数据孤岛、编目传统、生产效率低、审核艰难、利用率低等痛点：
1）数据孤岛：传统媒体资产治理平台与平台间相互独立且关闭，无奈满足媒体交融倒退互融互通的须要；
2）编目传统：传统的编目形式老本高、体系简单，时效性低，无奈适应当下媒体的倒退变动；
3）生产效率低：现有的内容生产工具效率低下、无奈适应日益新增的海量素材和二次制作内容制作状况；
4）审核艰难：新媒体多模态数据量疾速晋升，在引入和输入方面都对审核工作造成微小压力，传统的审核伎俩成果差；
5）利用率低：传统媒体资产内容库含有大量数据，标签体系不一，检索维度少、准确度较低。
绝对于传统媒体治理平台面对的诸多难题，新一轮科技反动衰亡，5G、大数据、人工智能等利用到新闻畛域，让传媒业实现了深度改革。作为国家通讯社，新华社亟需将 5G、大数据、人工智能等先进科技，使用在新闻采集、生产、散发、接管、反馈全流程，解决融媒体信息资源管理难题，通过常识图谱、自然语言了解、多模态语义常识搜寻与举荐等核心技术能力，搭建整合新华社内外数据资源、实现融媒体业务数据化的智慧中台，将数据资产、常识资产交融共享，通过中台实现对各类利用的数据赋能、AI 赋能、经营赋能、决策赋能，由此推动媒体挪动化、数字化、智能化过程，为晋升流传力、疏导力、影响力、公信力提供技术撑持。
“2 服务 6 中台”助力新华社构建新型融媒体机构
为放慢推动交融倒退转型降级，新华社国家重点实验室青眼的单干厂商须要具备以下能力因素：
1）可能在媒体畛域长期深耕，对融媒体机构如何建设新一代技术体系领有独到见解；
2）可能充沛了解新华社媒体业务，以国内一流新型全媒体机构建设提供个性化整套解决方案为出发点；
3）自主掌控核心技术，其技术研发能力行业当先。
通过对泛滥厂商计划的可行性研究和比照，新华社国家重点实验室最终抉择了中科闻歌作为此次智慧中台我的项目的合作伙伴。
中科闻歌是中国科学院旗下企业，成立于 2017 年，是一家数据与决策智能服务商。中科闻歌团队深耕数据智能 + 人工智能 + 运筹迷信畛域十余年，研发团队吸纳了各畛域高水平技术人才，通过了中科院“弘光专项”、国家科技翻新 2030“新一代人工智能”、北京冬奥会等数十个国家级重大项目的测验，融媒体畛域丰盛的钻研实践经验和高层次的技术水平为中科闻歌的智慧中台解决方案提供了无力保障。
此次智慧中台我的项目由新华社和中科闻歌联结孵化，组建了研发团队、算法团队、CV 团队、钻研团队、用户团队以及产品团队，独特钻研各类中台和扩展性利用的定位和指标市场，面向媒体行业输入一套智能全媒体信息翻新思路，提供基于支流媒体算法相干的蕴含政策、资讯、经营等在内的定制化服务。
我的项目单方在方法论、规范体系、组织机制、经营体系、评估体系、技术平台和产品工具几方面继续钻研，推动新型全媒体机构数字化转型能力晋升的中台战略性工程，造成了“2 服务 6 中台”建设模式：
图 25：“2 服务 6 中台”整体建设内容
智慧中台解决方案兼顾新华社全量媒体资源
此次新华社和中科闻歌搭建的智慧中台，基于中科闻歌自研”天湖“数据智算平台的数据处理能力，能够兼顾超 3 亿条文字、图片、视频模式的内容以及 100 余种算法资源，中台存储超过 2.5PB 媒体数据，涵盖了 60 余个媒体场景，撑持了媒体交融生产、流传、经营、数字化报道工作室、算法大赛、多模态常识搜寻、畛域常识体系建设等翻新利用，进一步实现了以下价值成绩：
1）实现了新华社内资源凋谢互通：通过智慧中台充分调动了新华社各部门专业人才、内容生产、行业钻研、畛域调研、行业单干资源间的协同配合与高效复用；
2）搭建了各畛域欠缺的常识体系：通过智慧中台钻研推动了常识交融办法、规范、工具和机制，一直吸纳交融构建通用常识和畛域常识，通过媒体大数据与多源异构数据的萃取、剖析与常识解决算法与技术，积淀了如人物常识、事件常识、外围报道常识、政策法规常识、内容平安常识等，作为数字化转型和数据业务化、业务数据化的根底，充分发挥数据因素化、数据资产化对翻新生产方式、流传模式、产品状态、服务样态的作用；
3）构建了新华社内外多方翻新协同机制：围绕用户和场景衍生服务，通过智慧中台构建产品服务翻新的孵化机制，翻新构建全媒体产业链价值评估、流通和分配机制，促成全员媒体、全程媒体、全息媒体、全效媒体无效协同，围绕用户和场景推动“新闻 + 政务服务商务”翻新产品和服务模式试点。
在媒体畛域、大数据畛域、人工智能畛域的技术和人才积攒是智慧中台建设的无力撑持，是建成、建好此次融媒体智慧中台的外围因素。基于中科闻歌融媒体畛域的成熟产品体系，“天湖”数据智算平台撑持了整个智慧中台各类数据的汇聚、解决，常识图谱、数据标注等成熟的 AI 产品为常识加工提供了智能、疾速的技术平台；媒体、国内关系、人工智能等领域专家对智慧中台的畛域常识数据进行收集、梳理、归类，造成畛域常识体系，为中台的业务化、智能化运行提供了常识体系保障。
7.2.3 营销畛域可利用大数据技术笼罩消费者市场动态，为产品营销决策高效赋能
在产品营销业务过程中，可使用大数据技术和迷信算法，广发收集和分析线上社交媒体平台和电商平台的用户数据，迅速捕获市场趋势和消费者需要，挖掘潜力趋势，辅助产品营销决策。
案例 10：安利（中国）研发核心打造智能营销产品翻新平台，实现产品翻新亮点开掘
安利（中国）研发核心成立于 2004 年 12 月，是安利寰球研发部门的重要组成部分。安利寰球研发团队在寰球衰弱畛域领有超过 50 年的领导者位置，中国研发基地次要负责新概念钻研、毒理钻研、配方设计、产品效用验证、临床试验、消费者洞察等。多学科多交叉点的构造以及与寰球产品团队单干的气氛，让安利（中国）研发核心的研发力量在业内名落孙山。
消费者反馈评估和市场热点趋势都是各类型消费品研发过程中的重要参考因素。安利（中国）研发核心以往通过消费者调研、桌面剖析以及专家意见等调研形式理解用户评估和市场关注点，这样的传统调研形式存在调研后果纷繁复杂、调研周期长、投入资金老本和人力老本低等诸多痛点。
基于外部剖析探讨和综合判断，安利（中国）研发核心冀望通过使用更高效更零碎的大数据伎俩理解消费者市场，帮助安利深刻理解当下消费者应用保健食品时关注的具体效用和原料成分等概念元素，升高翻新策略阶段的调研老本，为产品研发翻新高效赋能。安利（中国）研发核心认为，基于大数据的产品翻新解决方案须要具备以下条件：
1）解决方案能够借助大数据能力，使用迷信算法，全面迅速捕获市场趋势和消费者需要，主动挖掘新兴后劲趋势，为研发人员提供更多翻新灵感。
2）其次，解决方案能够通过对社媒、电商等数据的宽泛收集和剖析，深度开掘具备后劲的产品翻新机会在市场中的综合状况，辅助决策下一步口头。
3）最初，通过此次我的项目能够总结出迷信可行的产品翻新钻研方法论和钻研体系，以反对后续产品翻新研发过程。
基于以上思考因素，安利（中国）研发核心最终抉择与数说故事独特搭建智能营销产品翻新平台。
数说故事成立于 2015 年，员工 800+ 人，60%+ 为大数据和 AI 研发团队，在“认知 AI”畛域占据领先地位。公司构建了从数据收集、解决、剖析、建模到商业利用的全价值链解决方案，残缺笼罩产品翻新、品牌营销、内容营销、渠道销售、用户经营、危险预警、投资参谋等丰盛的商业场景，帮忙 10+ 行业的 500+ 头部企业实现营销数字化转型。
安利智能营销产品翻新平台，精准匹配产品翻新趋势洞察需要
数说故事凭借对安利（中国）研发核心工作内容的深刻理解和诉求解读，设计了在产品研发阶段能够高效洞察市场趋势和翻新点的解决方案，该解决方案次要使用了自有产品数说雷达进行智能营销产品翻新零碎的构建，次要包含翻新趋势发现和翻新趋势钻研两个业务方向：
图 26：安利智能营销产品翻新平台架构
翻新趋势发现次要由趋势榜单来体现，通过对品类、趋势类型和举荐指数的判断和筛选进一步造成趋势榜单，趋势榜单由回升指数、热度指数、萌芽榜单等模块组成。
翻新趋势钻研方向下次要实现趋势洞察性能，通过对榜单维度的进一步筛选，造成了趋势概览（社交媒体声量趋势、店铺 SKU 散布、情感散布、产品趋势、同类品牌比照等）、人群和场景洞察（性别、年龄、地区、工夫等）以及应用反馈（满意度体现、情感体现、正负向词云）发现产品翻新趋势及热点。
安利智能营销产品翻新零碎的工作门路具体分为 6 个步骤：
第一步，数据构建。通过社媒（微博、微信、新闻、论坛、小红书、抖音等）和电商（天猫、京东）等公开渠道和单干渠道，大范畴继续收集产品原料、效用、销量、用户反馈等维度的实时合规数据，为概念辨认、分类、开掘、剖析打造良好的数据根底。
第二步，概念辨认。安利智能营销产品翻新零碎在落地前凭借过往数据构建了行业库，行业库内实现各层级模块细分，例如蛋白类下有植物蛋白模块和动物蛋白模块，使用概念辨认模型依据安利（中国）研发核心须要的植物蛋白成分类别剔除非核心的动物蛋白概念数据。接着使用关系辨认算法，对数据进行二次采集和筛选，尽可能的保留植物蛋白相干实时数据。而后通过训练趋势辨认算法判断产品成分、效用的热门水平，在原料、成分、效用、科技、工艺等偏产品研发翻新的维度进行概念降级和解决。
第三步，概念分类。通过算法模型对曾经辨认出的维度进行分类，帮忙产品研发核心疾速辨认当下动物类产品的热门话题维度和翻新维度。
第四步，概念开掘。通过算法模型实现概念开掘，参考权威机构和企业公布的产品榜单或正在探讨的翻新产品原料、成分、效用概念。
第五步，概念分析。深度剖析社媒、电商平台里消费者反馈的以后趋势，包含各类型动物类产品的销量和应用成果评估，综合消费者偏好及关注点，使用口碑评估体系评估产品成分及效用，从而给予安利（中国）研发核心产品原料、成分、效用的后期评估参考。
第六步，常识积攒。智能营销产品翻新零碎辨认出当下产品的市场趋势后，使用常识图谱技术继续造成行业底层常识积攒，常识图谱会随着产品热点和翻新点的呈现继续更新，以便研发人员或审查人钻研人员在浏览产品常识或信息时可能疾速扩大其余常识类别，为产品翻新提供更多灵感起源。
以上 6 个步骤实现智能营销产品翻新零碎的帮助工作，为安利（中国）研发核心产品研发翻新高效赋能。
安利智能营销产品翻新零碎让产品研发后期调研笼罩更广、效率更高
安利（中国）研发核心与数说故事共建的智能营销产品翻新解决方案笼罩数据范畴宽泛、维度多样，无效升高调研阶段人工投入老本，并为创意策略阶段继续赋能。
1）智能营销产品翻新解决方案采集到的数据覆盖范围宽泛、维度多样，在遍布用户生存的社交媒体和泛滥电商平台上实时采集产品原料、成分、效用、销量等维度评估，后期调研的广度和速度失去优化。
2）智能营销产品翻新零碎可开释大量人力价值，罢黜低效人工辨认工作。产品研发支持系统实现了超过 85% 的实体辨认准确率，罢黜了大量人工筛选的低效工作，实体辨认算法还可随市场倒退实时优化，继续发现和开掘产品热点。通过算法自动识别新词，从而发现产品研发翻新方面的将来趋势。
3）智能营销产品翻新解决方案可为产品翻新提供衍生常识参考，产品研发支持系统可为外围概念继续链接衍生常识，进而造成网状结构的常识图谱，进步了常识的关联摸索能力，在后期创意策略阶段，为实现因素重组提供丰盛的灵感。
强有力的大数据技术 + 迷信可行的钻研方法论 + 精准的我的项目诉求解读 = 胜利的智能营销产品翻新解决方案
此次安利智能营销产品翻新我的项目的胜利是建设在扎实的数据能力、迷信可行的钻研方法论和精准的我的项目诉求解读根底上的。
在大数据技术层面，数说故事提供的产品根底数据能力扎实，数据采集能力和算法能力劣势显著，可能为产品翻新研发零碎提供继续稳固的信息采集技术。
在产品翻新钻研方法论层面，此前单干的动物原料钻研思路和此次产品翻新解决方案思路统一，安利（中国）研发核心和数说故事探讨出钻研方法论迷信可行，只需将一次性的钻研报告进一步升级成实时可用的智能营销产品翻新零碎，可为安利（中国）研发核心全线产品提供更全面更宽泛的钻研反对。
在我的项目诉求解读方面，安利（中国）研发核心在过往钻研我的项目中与数说故事建设了良好单干关系，相熟了彼此的工作格调及具体诉求，让安利对数说故事建设了较高的认可度，无效升高了此次我的项目的后期沟通老本。
7.2.4 医疗大数据技术无效反对医学钻研、衰弱决策
在医疗畛域，可使用人工智能影像技术和医疗大数据管理技术辅助癌症筛查工作，笼罩更多筛查人群，进步癌症筛查效率，升高人工筛查老本。医疗大数据管理技术无效帮忙相干部门实现数据管理，数据互通共享，辅助实现衰弱决策，同时为后续的医学大数据钻研打下松软的根底。
案例 11：“AI 衰弱地图”助力构建浙江省癌症筛查信息平台
浙江省肿瘤防治办公室隶属浙江省肿瘤医院，浙江省肿瘤医院始建于 1963 年，是新中国成立最早的四所肿瘤医院之一, 是中国科学院首个以肿瘤医学为次要钻研方向的业余钻研机构，集肿瘤预防、医疗、科研、教学、痊愈于一体，承当着国家肿瘤防治重任，在全国的肿瘤防治工作中施展着龙头作用。
2016 年中共中央及国务院印发了《“衰弱中国 2030”布局大纲》，明确指出对慢性病施行综合防控策略：“强化慢性病筛查和晚期发现，针对高发地区重点癌症发展早诊早治工作，推动癌症、脑卒中等慢性病的机会性筛查。根本实现高血压、糖尿病患者治理干涉全笼罩，逐渐将符合条件的癌症、脑卒中等重大慢性病早诊早治合适技术纳入诊疗惯例。到 2030 年，实现全人群、全生命周期的慢性病衰弱治理，总体癌症 5 年生存率进步 15%。”
浙江省肿瘤防治办公室和疾控中心为响应《“衰弱中国 2030”布局大纲》“全民衰弱 共建共享”的战略目标，打算通过早筛查、早诊断、早医治恶性疾病的形式来升高人群疾病累赘。然而传统人工筛查癌症形式存在泛滥痛点：传统筛查形式依赖人工填写各类文书，筛查效率低，工作人员筛查老本较高；癌症筛查波及的人群数量宏大，数据管理难度较大；从事肿瘤防治的一线工作人员不足业余的筛查零碎等。
基于以上思考，浙江省肿瘤防治办公室寻求人工智能影像和医疗大数据管理技术辅助进行晚期癌症筛查工作，通过可行性研究和对技术计划的评比，最终抉择了深睿医疗作为合作伙伴。
深睿医疗深耕智慧医疗畛域，致力于通过人工智能“深度学习”技术及自主研发的外围算法为国内外医疗机构提供人工智能和互联网医疗解决方案。其研究院国内外学术畛域成绩突出，累计影响因子超 1200，取得了 700 多个专利及软著，颅内动脉瘤自动化宰割与检测方向的科研成果被 Nature Communications (IF 17.694)收录。深睿医疗牵头参加了 7 项科技部重点研发打算，9 项国家自然科学基金，30 多个省市级科研项目，2021 年深睿医疗与国内多家出名医疗机构联结申报胜利 4 个国家天然我的项目。往年，深睿医疗牵头或参加的 6 个我的项目上榜工业和信息化部和国家药品监督管理局公示的人工智能医疗器械翻新工作揭榜单位名单
“AI 衰弱地图”推动肿瘤筛查工作流程欠缺、筛查信息对立治理
“AI 衰弱地图”推动肿瘤筛查工作流程重塑。为响应浙江省数字化改革的号召，浙江省肿瘤防治办公室在 2020 年开始着手肿瘤筛查平台的打造，并对肿瘤筛查业务流程进行重塑，包含危险人群入组、评估 / 初筛、精准筛查、随访等残缺的筛查流程，并超前思考到所有与肿瘤防治相干的所有参加单位，包含政府主管部门、各地肿瘤防办、定点医院、社区医院。
“AI 衰弱地图”实现全省肿瘤筛查一盘棋。目前浙江省肿瘤筛查平台已接入了 130 个管理机构、292 个筛查机构、1423 个招募机构（超 90% 的浙江省社区医院），造成了一套组织紧密的肿瘤筛查网络，能够继续发展不同肿瘤的大规模筛查。
浙江省肿瘤筛查平台包含 3 类终端（医生电脑端 / 医生挪动端 / 居民挪动端）、30 个高频利用（包含受试者招募、筛查我的项目预约、肿瘤筛查、随访等筛查全链路环节的一体化服务性能）、N 个肿瘤筛查模块（结直肠癌筛查 / 肺癌筛查 / 上消化道癌筛查）
浙江省肿瘤筛查平台的功能模块有系统管理（机构治理 / 用户和权限治理 / 登录治理 / 行政区划治理 / 零碎帮忙）、工作治理（布告治理 / 待办事项治理 / 工作治理）、受试者治理（受试者信息总览 / 受试者查问 / 受试者信息导出）、指标人群治理（新增指标人员 / 批改指标人员 / 导入指标人群）、评估治理（评估资格审核 / 知情同意书治理 / 问卷治理 / 评估后果展现）、测验治理（测验耗材治理 / 测验后果录入 / 测验状态追踪）、预约治理（查看预约 / 签到治理 / 动员治理 / 放号治理）、筛查治理（筛查后果录入 / 筛查后果查问 / 筛查状态追踪 /AI 影像辅助诊断）、随访治理（随访录入 / 随访揭示 / 随访后果治理 / 随访查问）、数据管理（数据驾驶舱 / 业务指标统计 / 数据应用治理 / 数据导出）等 30 个利用模块。
凭借“AI 衰弱地图”，浙江省肿瘤筛查工作实现效率跃升
AI 衰弱地图”可筛查不同病变阶段的患者，无效节约医药费用。截止到浙江重点人群结直肠癌筛查我的项目累计实现危险评估和便潜血查看（FIT）4,58 余万人，结肠镜查看近 30 万例，筛查出结直肠癌 3,110 人，停顿期腺瘤 31,947 人，非停顿期腺瘤 57,306 人。通过信息平台及早救治了 1000 多名患者，节俭大众的医药费用、加重大众的累赘，为医保节约费用 28 亿多元。
“AI 衰弱地图”可对潜在癌症人群进行提醒和预警。筛查我的项目在实现了结直肠癌的晚期诊断，还对处于“早晚期”的结直肠癌进行了提醒和预警，临床的提前干涉间接将癌症扼杀在萌芽之中。截止目前浙江省重点人群结直肠癌筛查我的项目累计实现危险评估和便潜血查看（FIT）近 460 万人，筛查出结直肠癌 3,110 人及近9万处于晚期病变不同阶段的患者。
“AI 衰弱地图”可促成癌症筛查和早诊早治一体化及标准化。癌症筛查信息平台通过实现省域内信息对立接入与治理，使筛查数据实现高效质控、互联互通及便捷共享，为浙江省后续癌种、区域的拓展及医学大数据钻研打下松软的根底。
“AI 衰弱地图”可赋能疾病预防管制和衰弱决策。癌症筛查信息平台内积淀了大量的区域癌症筛查数据，可通过人工智能技术对医疗大数据进行治理及智能剖析，最终赋能疾控和衰弱决策。
通过“AI 衰弱地图”肿瘤防治工作实现了模式翻新、技术创新和场景翻新
此次癌症筛查平台搭建过程中实现了产学研用相结合，创新性地利用了人工智能技术，进步了居民癌症筛查参与率，实现了疾病诊断关口前移，在肿瘤防治工作层面实现了模式翻新、技术创新和场景翻新。
1）模式翻新：实现筛查业务数字化流转，缩小工作人员从的反复工作，减速我的项目推动，晋升筛查信息管理效率；肿瘤筛查遵循浙江省对立的筛查技术计划，实现从省级到地市到区县的对立，领有统一的工作流程和规范规定；针对不同肿瘤筛查设计专门的统计指标，通过比照剖析各类指标在全省各筛查单位的差别水平，可帮忙管理机构及时领导筛查机构进行整改，无效保障各癌种的筛查品质。
2）技术创新：充分运用 5G、云计算、AI 等先进的新兴技术，构建全省乃至全国自成一家的智能肿瘤筛查云，能够撑持全省一直发展各种不同肿瘤的大规模人群筛查；采纳 AI 与云计算联合的技术，居民做完查看后影像可主动转发至云端，并通过影像 AI 技术主动计算筛查后果，筛查准确性相当于中高年资医生程度。AI 剖析后果按筛查要求主动回填医生诊断所需填写的字段内容，极大节俭筛查诊断医生的阅片录入数据的工作量。
3）场景翻新：翻新利用医生挪动端筛查，不便医务工作者在人民大众家门口发展肿瘤筛查工作。灵便反对高风险人群在日常就医过程中随时参加肿瘤机会性筛查，进一步拓宽肿瘤筛查渠道，加强肿瘤筛查的人群覆盖面。对于重点危险人群及家属，反对线上参加肿瘤筛查，宽泛晋升居民对肿瘤防治的知晓率和参与度。
8. 瞻望
以后，出于政策合规、洽购习惯和认知等方面的起因，中国企业尤其是中大型企业对于私有云的驳回停顿仍处于晚期，但基础设施上云的趋势仍在稳步推动。将来，随着基础设施上云，基于云上的数据分析和利用，以及跨组织、跨区域的数据共享和生产是值得关注的趋势。
同时，随着区块链、隐衷计算等技术的浸透，政策对于数据因素流通的提倡，以及数据资产定价机制的摸索，相干基础设施将逐渐走向成熟，为数据因素的高效流通和利用、开释更大的价值带来可能
报告编委
主创团队
黄勇
爱剖析合伙人 & 首席分析师
武宇
爱剖析高级分析师
孟晨静
爱剖析分析师
李冬露
爱剖析分析师
兰壹凡
爱剖析分析师
内部专家（按姓氏拼音排序）
陈玉奇
斗象科技首席平安架构师
方正
数说故事产品总监
郭振强
科杰科技副总裁
孔德明
网易数帆流通行业大数据施行交付总监
刘诚忠
衡石科技 CEO
乔昕
深睿医疗联结创始人 /CEO
孙妍
观远数据副总裁
王申
九章云极银行 BU 总经理
王爽
锘崴科技创始人、董事长
王一刚
中科闻歌数智媒宣事业部总经理