共计 12128 个字符，预计需要花费 31 分钟才能阅读完成。
报告编委
黄勇
爱剖析合伙人 & 首席分析师
孟晨静
爱剖析分析师
内部专家（按姓氏拼音排序）
杜晨阳
力维智联 五维实验室主任
王哲
九章云极 DataCanvas 雅图 BU 总经理
特地鸣谢（按拼音排序）
目录
- 报告综述
- 金融行业数据迷信与机器学习平台
- 工业数据迷信与机器学习平台
- 结语
1. 报告综述
随着数据体量的快速增长、算法迭代优化以及 CPU、GPU、DPU 等多种算力技术的倒退，以大数据建模为外围的机器学习技术正被企业广泛应用到营销、广告、风控、生产等场景中。
机器学习波及简单的建模流程，如数据筹备、特色工程、模型训练、模型部署、模型经营等，须要数据工程师、数据科学家、数据分析师、BI、软件工程师以及业务人员等多方合作。在企业传统的建模形式中，建模以我的项目制为主，建模周期长，合作艰难，建模门槛高且重大依赖数学科学家。
然而，市场环境、消费者需要的疾速变动推动企业向敏捷性组织转型，对业务决策时效性要求更加严格。对此，企业一方面须要晋升建模效率以反对业务的继续更新、适应宽泛的建模场景，另一方面也须要赋予一线业务人员建模能力，晋升业务人员对市场的反馈能力。传统建模形式难以满足企业疾速决策需要。
数据迷信与机器学习平台为企业提供了一个高效的解决方案。数据迷信与机器学习平台整合数据接入、数据筹备、特色工程、模型训练、模型部署、模型治理及模型经营等模型开发全流程，集成丰盛的模型开发工具，不仅能无效晋升模型开发效率，还能基于 AutoML 实现低门槛建模，满足业务人员的建模需要。数据迷信与机器学习平台正成为企业数智化转型的必要基础设施。
不同行业的企业对数据迷信与机器学习平台的需要侧重点不同。如对于具备业余建模人员的金融、医疗等行业，须要数据迷信与机器学习平台兼顾业余建模人员和业务人员的建模需要；而对于广泛不具备业余建模人员的其余传统行业，如工业、生产、能源等，更须要业务人员可疾速上手的低门槛建模零碎。
本报告选取具备代表性的金融行业、工业行业的数据迷信与机器学习平台解决方案为钻研对象，围绕该解决方案在大中型企业的落地利用开展钻研，重点剖析两个行业中甲方对数据迷信与机器学习平台的需要和解决方案。
2. 金融行业数据迷信与机器学习平台
在当先的数字化转型过程、海量数据积攒、充沛的科技人才储备以及丰盛的业务场景利用需要等驱动因素下，金融行业对数据迷信与机器学习平台利用的渗透率显著高于其余传统行业。尤其在银行业，数据迷信与机器学习平台的建设呈现出从全国性大型银行向地域性城商行笼罩的趋势。数据迷信与机器学习平台作为人工智能基础设施正被纳入更多金融机构的数字化转型布局中。
以银行业为例，银行中的数据迷信与机器学习平台的用户可分为两类人群：数据科学家和业务人员。其中数据科学家指具备业余建模能力的模型开发人员，负责模型的开发、算法的优化，是模型开发的外围人员。业务人员诸如营销、风控、产品研发等场景下的数据分析人员、BI 分析师。银行的 2C 属性使得更凑近 C 端消费者的业务人员对产品、服务的优化更敏感，也更具话语权，为实现银行的精细化经营，业务人员对敏捷地模型开发及利用的需要逐步加强。两类人群对数据迷信与机器学习平台的需要也不同。
图 1：数据科学家和业务人员对数据迷信与机器学习平台的需要
数据科学家在进行机器学习建模时，次要面临以下挑战：
传统我的项目制建模形式导致计算资源无奈共享：在金融机构传统的机器学习建模过程中，数据科学家各自以我的项目模式对业务场景进行建模，对于计算资源的调用以申请高性能 CPU 或 GPU 服务器为主，计算资源分配不平均，算力不能高效利用。
传统建模形式下建模工具缺失：传统的开发工具简略，模型训练和模型部署都须要数据科学家手动实现，尤其模型部署过程中波及模型转换、模型优化以及模型在业务平台运行的性能和稳定性等简单的工程化落地能力，数据科学家实现模型部署较为艰难。此外，因为不足数据、代码、模型的版本治理性能，建模过程中的数字资产无奈共享、复用。
建模全过程多角色协同艰难：因为模型开发过程会波及到数据筹备、模型训练、模型部署以及模型运维等多个环节，波及数据工程师、数据科学家、软件数据分析师等多角色独特合作实现，存在重复沟通、合作流程不明确等问题，带来重复性工作。
业务人员对数据迷信与机器学习平台的需要更偏差简略易上手的建模工具，须要屏蔽数据筹备、模型训练、模型部署等环节的复杂性，实现一键建模，并能及时查看模型对业务决策分析的成果。
为同时满足数据科学家业余建模需要和业务人员低门槛的建模需要，最大化算法模型价值推动实现高效决策，金融行业的数据迷信与机器学习平台解决方案应围绕以下要点开展。
图 2：金融行业数据迷信与机器学习平台解决方案要点
对立资源管理：对模型开发须要的 CPU、GPU 资源进行整合，以容器化的形式对算力虚拟化，实现弹性扩容、性能减速、资源共享，防止资源节约。
建设数据管道：模型训练过程依赖金融机构内外的高质量数据，且智能利用上线后，需继续对模型成果进行监控，继续输出陈腐的高质量数据集进行模型迭代，因而须要建设数据管道，包含为金融机构接入多种数据源如关系型数据库、Hadoop 大数据平台，提供对立的存储、治理、治理服务，提供丰盛的数据分析算子进行标注、查看、改良等数据预处理。
模型训练：兼容多种高性能训练和推理引擎框架，如 TensorFlow、Pytorch、MXNet 等。提供多种建模形式，包含自由度更高的 Notebook 建模、可视化建模、AutoML 建模，实用于金融机构不同建模人员应用。针对 Notebook 建模、可视化建模提供丰盛的白盒算子，以供数据科学家进行优化或是建设模型训练工作流；AutoML 建模中则应具备数据主动解决、模型主动训练、模型主动抉择等性能，使得业务人员只需提供原始数据集即可实现取得特定业务场景下的模型开发，发展智能利用。
模型部署和运维：提供一键部署性能，实现模型疾速部署；提供模型监控性能，对模型漂移提供预警。
模型开发数字资产的积淀：在模型开发过程中，针对数据接入、数据转换、特色工程、模型训练、模型部署等环节，提供数据、代码和模型等的版本治理，实现模型数字资产的积淀和复用。
案例 1：AI 核心减速山西银行智能化转型，打造数据驱动型组织
山西银行是经中国银保监会批准，于 2021 年 4 月 28 日挂牌停业，以原大同银行、长治银行、晋城银行、晋中银行、阳泉市商业银行为根底，通过新设合并形式设立的省级法人城市商业银行，现有员工 7000 余名，领有分行级机构 12 家，各类营业网点 387 个，遍布全省 10 个地市、23 个区、36 个县。
山西银行成立之初，在对原大同银行、长治银行、晋城银行、晋中银行、阳泉市商业银行科技零碎整合的根底上，为建设一套全行的可继续“让数据用起来”的数据体系，于 2021 年启动数据中台我的项目群，推动包含数据开发平台、数据管控平台、数据服务平台和客户集市等性能实现。
建模形式不欠缺，亟待建模能力和建模零碎全面降级
其中，为实现数据赋能业务需要，山西银行拟围绕以人工智能、大数据、云计算为代表的科技能力为根底搭建自动化联结建模平台，为建模人员提供样本导入、数据匹配、特色加工、模型训练及模型评估等一站式联结建模服务，并将联结建模平台作为数据开发平台的重要组成部分。山西银行对联结建模平台的需要次要体现在以下方面：
实现联结建模。山西银行中业务人员广泛不具备建模能力，而具备业余建模能力的科技人员对业务理解也不透彻，这导致科技人员在建模过程中须要与业务人员就具体需要、数据范畴、数据品质、模型设计等方面进行重复沟通，消耗大量工夫。山西银行亟需为业务人员实现主动建模性能，为科技人员提供一站式建模平台撑持，实现业务人员和科技人员联结建模，晋升模型开发效率。
晋升算力。AI 的算力强弱间接影响到 AI 模型训练的精度与推理后果。一方面，因为山西银行数据由 5 家银行数据合并而来，数据体量远超之前单个银行数据体量；另一方面，每个项目组都会各自申请计算资源，导致科技人员在进行模型训练过程中常常面临算力资源有余的问题，频繁呈现内存溢出、开发工具重启等景象。此外，不同的业务场景须要的资源类型也不同，如机器学习模型罕用 CPU 计算，深度学习模型偏向用 GPU 进行计算，因而如何晋升建模的算力反对，且为科技人员屏蔽简单的算力治理细节，专一于建模自身，是联结建模平台须要解决的次要问题之一。
实现数据、代码等模型数据资产共享及积淀。山西银行技术人员在面向精准营销、智能风控、产品设计等不同业务需要时，优良的数据集、代码、模型版本等成绩不能及时共享，须要联结建模平台反对建模过程成绩积淀。
基于以上需要，山西银行将联结建模平台我的项目进行招投标，综合考量技术先进性、对业务场景的适应性、零碎运行稳定性、零碎安全性、零碎可拓展性以及信创环境反对等因素，最终抉择与九章云极 DataCanvas 单干。
北京九章云极科技有限公司（简称：九章云极 DataCanvas）成立于 2013 年，是中国数据智能根底软件领军者。公司专一数据智能根底软件的继续开发与建设，通过自主研发的一系列企业级 AI 利用所需的平台软件产品及解决方案，助力用户实现数智化降级。目前，九章云极 DataCanvas 机器学习平台业务波及政府、金融、通信、制作、能源、交通、航空等十余个行业，客户笼罩多个行业头部和世界五百强企业。
基于 DataCanvas APS 机器学习平台，建设 AI 核心
在九章云极 DataCanvas 帮助下，山西银行正式建设联结建模平台，基于九章云极成熟的 DataCanvas APS 机器学习平台建设“模型实验室”。该我的项目从 2021 年 11 月开始推动施行，历经近 9 个月的工夫，于 2022 年 8 月初实现平台建设并进行线上试运行，之后于 2023 年 1 月正式在全行推广，针对全行范畴的数据、模型需要正式发展工作。山西银行模型实验室面向科技人员和业务人员实现一站式模型开发，次要性能包含以下方面：
图 3：模型实验室性能架构图 / 示意图
1. 异构多引擎交融架构
灵便计算环境反对：平台性能基于 Docker 实现容器化封装，底层计算资源反对 Kubernetes 集群、Hadoop 集群和 GPU 集群等多种模式，提供弹性可伸缩的 CPU 和 GPU 资源，反对大数据量的剖析和训练，实现计算资源正当利用。
工作流混合编排：在异构多引擎交融架构下，平台算子封装反对多语言模式，容许在同一个工作流中调用不同开发语言算子，能够疾速交融机器学习和深度学习的多引擎的训练和推理，反对工作流程嵌套，如在平台中反对编码、可视化、AutoML 三种建模形式，三种建模形式之间可互相调用，最大水平上进步建模流程的灵活性和模型资产的复用性。
2. 简化数据筹备，实现多源异构大数据分析
模型实验室反对多种数据连接器，山西银行可便捷获取包含本地数据、关系型数据库、Hadoop 大数据平台等在内的各类数据源，并且模型实验室反对反对异构多源数据的加工和混合解决，即在一个工作流中能够将多个异构数据源中的数据作为输出并调用平台上的多种数据分析算子进行解决。
3. 开放性算法反对
集成了支流的开源机器学习算法库和深度学习框架，如 TensorFlow、Caffee、H2O 等，不同框架间可发展协同工作。
提供丰盛的开箱即用“白盒”算法库，内置 100 多种算法模型，包含企业罕用的统计分析、机器学习、深度学习算法，面向数据分析利用提供根底算法反对。“白盒”模式下，算子代码齐全凋谢，反对客户对代码进行批改或开发，满足建模人员算子自定义、算子迭代需要。
建模人员可在集成 Web IDE 环境中，对算子进行开发。并基于容器技术对算子进行灵便封装、集成，造成算子模块并公布到算法库中。公布后的算子模块可被重复调用，晋升新模型的开发效率。
4. 提供三种编码方式，适应不同建模程度人员
代码建模：反对科技人员在 Web IDE 环境中通过 R、Python、Scala 等编程语言进行算法开发
可视化建模：模型实验室提供的算子模块笼罩模型生产全流程，包含数据筹备、特色工程、模型训练、模型评估、模型比照、模型公布等，反对理解建模流程的科技人员通过图形化、拖拽式建模。
AutoML 建模：针对不具备建模常识的业务人员，模型实验室提供低门槛 AutoML 技术，平台可主动实现包含算法抉择、超参数优化、模型评估、模型抉择及模型公布等系列过程，并生成面向生产零碎的 REST API 调用服务。业务人员通过配置指标即可实现自动化建模。
5. 模型全生命周期治理
对数据接入、数据转换、特色工程、建模可视化、模型仓库、模型生产化等建模全过程的数据、环境、代码、模型版本进行治理，实现数据、特色、模型的复用和迭代，积淀数据资产。
6. 反对高性能的分布式训练
交融支流分布式计算框架如 Spark、TensorFlow、PyTorch、Dask 等，并预置丰盛的分布式训练场景；深度学习分布式反对单机单卡、单机多卡、多机多卡训练，用户能够在简单场景下疾速高效实现模型训练。
以上是模型实验室的重要性能。
山西银行在搭建模型实验室的根底上，也在思考如何改善模型开发流程让模型实验室施展最大价值。因为模型开发流程蕴含业务需要剖析、收集数据、数据荡涤、特色工程、模型训练、模型部署、模型运维等环节，波及业务部门、IT 部门、算法开发人员等多个部门，为保障模型开发流程高效运行，在建设模型实验室根底上，山西银行制订了一套欠缺的模型开发合作机制，如下图所示。其中，业务部门提出业务需要并对模型最终成果进行确认。数金业务部承当与业务部门沟通的职责，包含业务需要确认、模型设计沟通、模型初训练的成果确认等。数金科技负责数据预处理、模型训练工作。
图 4：山西银行跨部门模型开发合作流程示意图
模型实验室大幅晋升建模效率、无效升高建模老本
模型实验室作为山西银行的 AI 核心，利用先进的异构多引擎交融架构，适应业务人员和科技人员的不同建模需要，为智能利用建设生命周期提供欠缺的工具和反对，实现端到端一站式建模，无效解决算力瓶颈问题，大幅晋升建模效率。
1. 解决算力瓶颈问题
模型实验室基于异构多引擎交融架构，具备优良的可扩展性，利用 Spark 分布式内存计算提供弱小的计算能力，反对海量数据计算剖析。此外，模型实验室能在模型开发的数据处理、模型训练等环节提供资源主动举荐，用户也可对资源类型和配额进行调整，实现算力的高效利用。同时，模型实验室对使用者屏蔽了大数据技术组件的复杂性，使业务人员和迷信人员能轻松取得大数据处理能力。
2. 晋升建模能力，进步建模效率
模型实验室提供端到端一站式建模全流程反对，能大幅晋升山西银行在数据摸索、预处理、特色工程、剖析开掘以及模型服务等环节的能力。另一方面，模型实验室为业务人员提供的 AutoML 建模和图形化建模形式，使业务人员能依据需要自主建模，基于模型成果再与科技人员沟通进行模型优化或调整，改良建模流程，大幅缩短建模工夫，实现对业务需要的麻利响应。
3. 模型资产和建模方法论积淀
建模过程中，包含数据集、数据荡涤、特色工程、模型训练、模型上线等过程的代码、数据，以及建模的流程都能保留并提供下载，科技人员能够通过权限定义分享对象，从而实现人员协同、成绩复用，积淀模型资产、解决问题的方法论和流程。
4. 无效实现老本管制：经统计，基于模型实验室，单个机器学习模型的建模老本缩减 60%，运维老本升高 30%。
3. 工业数据迷信与机器学习平台
工业互联网趋势下，以 AI 模型为外围的人工智能通过交融工业机理常识与专家教训，实现设计翻新、生产优化、产品智能检测、智能运维等价值，正广泛应用在企业的设计研发、生产制作、运维、供应链治理、产品检测等场景中。人工智能曾经成为工业企业晋升生产效率、进步产品质量、升高人力老本、实现环境可继续倒退的新型基础设施。
以后，工业企业中的数字化转型当先企业，在试点验证机器学习模型价值后，心愿扩充智能利用的领域，对特定场景进行智能化革新，如化工、石化等流程工业企业的生产场景下，生产安装的模仿与优化广泛基于传统的机理建模，以实现对生产过程的工况剖析和流程优化。但基于单个环节或是单个安装的机理模型收敛慢、研发周期长且模型可移植性差，难以实现对系统过程全流程的模仿。
机器学习平台通过交融机器学习建模和机理建模，不仅能简化模型复杂度，还能实现对生产过程中各环节、各化工安装实现建模开发，从而达到对生产全流程的精准管制和精准预测。工业企业对利用机器学习平台的难点 / 需要，具体表现在：
图 5：工业企业应用数据迷信与机器学习平台的难点 / 需要
企业缺失业余建模人才。工业企业的 IT 人才储备无限，企业不具备业余的机器学习建模人才。同时，企业的智能化过程须要为一线业务人员赋能模型开发、模型利用能力，因而机器学习平台必须低门槛、易上手。
实现常识资产积淀和复用。工业下细分行业泛滥，不同细分行业的生产流程差别微小。企业在日常经营中积攒了丰盛的场景常识和专家教训，须要将此类常识积淀为数据迷信与机器学习平台中的数据集模板、特色工程模板、模型模板或是工作流程，实现专家教训常识积淀。
提供个性化行业场景预训练模型反对。工业在生产工艺、产品检测等环节数据量无限，难以撑持须要大规模数据撑持的模型，须要适合的预训练模型实现小数据量下的模型开发。
为了解决工业企业在数据迷信与机器学习平台利用上的难点，厂商对工业企业的解决方案应包含以下三方面内容：
图 6：工业企业数据迷信与机器学习平台解决方案要点
- 平台建设：搭建端到端一站式模型开发平台
建模形式：提供低门槛的建模反对，包含无代码 AutoML 建模和低代码图形化建模。其中 AutoML 应反对自动化的数据处理、特色工程、模型抉择、超参数调优以及模型部署。
算法提供：提供丰盛的数据预处理算法、机器学习算法、深度学习算法，供业务人员调用；提供业务场景实用的预训练模型，以保障业务场景下“小数据”的模型成果。
计算资源管理反对：反对算力资源的分布式治理和精细化治理，为模型训练提供自动化资源举荐，以及屏蔽大数据技术组件的复杂性，使业务人员能轻松取得大数据处理能力。
- 平台部署：软硬件环境适配
工业企业的软硬件环境简单，数据迷信与机器学习建模平台内嵌在工业互联网平台中，面向多种业务零碎，须要针对性的进行兼容性适配开发。因而，厂商软件开发人员须要与企业的工程师协同对认证零碎、数据中台、业务零碎进行定制化的开发和对接联调工作，以保障平台的顺利部署。 - 平台运维：培训建模流程、技巧
在数据迷信与机器学习平台建设实现后，厂商的数据分析师、数据科学家应提供培训教学，为企业的业务人员培训机器学习根底概念，同时通过实训形式让业务人员上机实操，联合业务场景案例，疾速把握平台建模能力。
案例 2：某石化企业通过工业大数据分析建模平台实现加氢裂化安装工艺优化，晋升经营效率
某石化企业是一家集石油化工、煤化工、石化产品销售为一体，配套齐全的大型炼化一体化企业，原油加工能力 2200 万吨 / 年、芳烃生产能力 100 万吨 / 年，加工规模和技术水平位居国内炼油企业第一梯队。
近年来，该石化企业踊跃推动信息化工业化两化深度交融，基于工业互联网提出“智能炼厂”，在安装优化、打算优化、供应链优化等环节推动相干利用钻研。目前，该企业工业互联网已广泛应用于工艺、设施、HSE、能源、经营治理、物流等畛域。
与此同时，炼化企业为应答低油价与成品油市场寒冬，纷纷以生产优化为外围深刻施行降本增效，进而对生产模型精度、模型开发效率以及模型利用广度等都提出更高要求。
而智能建模技术作为“智能炼厂”的核心技术，以炼油生产为“指标函数”，能通过疾速创立智能化利用，为平安生产、降本增效提供智能决策，成为石化企业广泛关注的关键技术。加氢安装（包含加氢精制、加氢裂化）是石油炼化企业的关键环节，该石化企业心愿通过麻利建模实现炼化生产智能化。
既有建模形式门槛高、难利用
针对生产优化，该企业早已利用基于机理的传统优化建模软件如 Aspen、Petro-SIM、ProII，同时也在尝试基于机器学习算法的大数据建模技术，如将炼化机理常识与深度学习算法相结合，曾经实现加氢安装原料油换热器结垢预测、加氢催化剂床层温度预测等场景的智能化利用，并获得了较好成果。但两种建模门路都难以满足业务需要，使企业处于“有数据、无模型、有模型、难利用”的被动局面，具体痛点体现在：
1）技术门槛高。基于机理的传统优化建模重大依赖专家教训以及国外厂商提供的优化求解软件，且建模软件模型收敛慢，调优简单。而机器学习建模过程波及数据筹备、特色工程、模型构建、模型部署，也重大依赖具备业余建模能力的数据科学家。该企业不足懂建模也懂业务的业余复合型人才，同时高技术门槛妨碍了建模技术在企业炼化场景的宽泛推广应用。
2）建模周期长，建模老本高。传统优化建模和机器学习建模都存在着“大数据、小工作”，执行工作繁多的特点。其建模过程中数据体量大、开发难度大、研发周期长，而开发的模型仅能实用于单个“小场景”。如果想笼罩炼化过程的更多场景就须要定制化的开发多个模型，导致两种建模形式均投入微小，难以疾速为企业带来效益晋升。
3）模型部署难。在该石化企业业务中，当机器学习算法模型训练结束部署到生产环境中时，数据采集、预处理和边缘推理计算时均受智能设施影响，AI 模型的实际效果与智能设施的选型、接入、点位抉择以及人力调试密切相关。然而该化工企业智能设施起源宽泛，不同生产畛域的设施型号各异，短少对立的接入规范，且设施装置、接入和调试须要消耗大量人力，导致模型在不同生产畛域部署时均需以我的项目课题模式施行，模型部署难也进一步制约机器学习建模在企业的推广应用。
建设一站式炼化工业大数据分析建模平台，撑持深度学习算法推广应用
鉴于机器学习建模在后期试验中的杰出成果，该石化企业决定将深度学习算法进行推广应用，将“智能炼厂”推动“深度编码”阶段，通过先进的技术手段，如容器化、分布式计算、低代码等技术，实现对深度学习算法在炼化畛域落地的助推。而实现深度学习算法的推广应用，须要大数据建模平台做撑持。该石化企业思考到自建大数据建模平台老本投入大、技术难度较高，如分布式计算环境对硬件资源要求高、大数据组件的开发与利用难度大、模型部署对接各个系统复杂性较低等，于是决定与第三方厂商单干，综合思考行业服务教训、核心技术能力、兼容性、老本等方面，最终抉择与力维智联单干。
力维智联成立于 2005 年，是国家高新技术企业，凭借泛在数据接入与汇聚和大数据智能等 AIoT 技术和十余年 AIoT 系统集成交付能力，提供软硬一体的行业 AIoT 产品、解决方案与服务。同时，力维智联通过低代码机器学习开发平台提供 AI 开发工具软件和 AI 中台解决方案，该平台已服务于上海世纪出版团体、南方电网科研院、中海油、航天科技、国家 5G 中高频器件翻新核心等企业和公共服务平台。
在力维智联的帮助下，该石化企业在既有工业互联网平台架构下，针对石化煤柴油加氢安装构建起一站式炼化工业大数据分析建模平台，集成数据预处理、支流机器学习算法、智能优化算法和模型主动训练方法，最终实现生产数据到模型利用的端到端建模平台。
图 7：工业大数据分析建模平台在工业互联网的地位
图 8：工业大数据分析建模平台架构示意图
- 工业大数据分析建模平台架构
工业大数据分析建模平台处于石化工业互联网的工业 PaaS 层。架构上，工业大数据分析建模平台分为数据分析引擎和数据模型用户端。
1）数据分析引擎
数据分析引擎分为底层架构和业务架构。底层架构由 Spark、MongoDB、Java Client、Webserver 等技术组成。业务架构蕴含数据读入、数据处理、特色工程、机器学习、深度学习、智能优化、AUTOML 等模块。数据分析引擎次要提供数据分析与开掘、特色工程与模型训练性能，其中数据分析还包含数据输入及数据可视化。
2）数据模型用户端
数据模型用户端底层架构由 Java Client、Azkban、Redis、Java Springboot 等技术组成。业务架构通过数据视图——算子流构建——模型治理——模型工作流——模型服务——公布利用构建起来。数据模型用户端反对多种数据库接入，但不对接入数据进行存储，该石化企业另部署数据库进行对接。
数据模型用户端次要提供用户权限治理、资源的定义和治理、任务调度以及数据的出现，其中资源蕴含数据视图、算子流、工作流和利用等。 - 工业大数据分析建模平台性能
基于以上架构，工业大数据分析建模平台笼罩数据筹备、统计分析、数据可视化、特色结构、模型构建和模型部署等智能利用开发全流程。具体实现了以下性能：
1）提供丰盛的算法：平台蕴含的算法次要分为两局部，一是通用数据迷信开掘算法，包含数据预处理和支流机器学习算法；二是优化算法，包含模型自训练算法和智能优化算法。一线炼化工程师能够依据本身须要设计算子流，对多种格局的数据数据进行预处理，或是依据业务场景进行建模。
2）炼化数据与大数据交融：一方面，平台通过预置炼化过程“工艺、品质”等畛域专题数据集固化先验常识，并对工艺特色工程进行迁徙，为大数据算法落地提供特色模板与数据根底，将工程师的专家常识固化到平台；另一方面，平台预置丰盛机器学习、深度学习算子，可为不同炼化过程大数据建模场景提供算法与数据的适配交融。
3）实现低门槛建模：一方面，基于利用引擎、算子流和工作流的编排性能，工业大数据分析建模平台为炼化工程师提供无代码的图形化“利落拽”建模反对，通过连贯任意算子造成算子流，可便捷实现数据预处理、模型设计、训练和部署。另一方面，平台反对无代码的模型自训练（AutoML），包含主动数据筹备，主动机器学习，主动模型调参，大大降低炼化工程师的建模门槛。
4）提供智能利用开发：模型部署后，平台提供 API 服务的形式供其余业务零碎调用，同时也反对借助 BI+AI 图标和管制组件开发动静可交互的可视化利用。
5）资源分布式、我的项目制治理：通过集群部署，平台实现了模型训练算力与推理算力资源的分布式治理，以我的项目为单位，对数据资源和硬件资源进行精细化管理控制。
6）软硬件兼容适配：力维智联在平台部署时应用了容器化技术，对国产化软硬件进行兼容性适配开发，保障平台顺利部署、稳固运行。针对数据接口接入，力维智联通过适配该炼化企业自有的工业互联网平台数据微服务接口，实现了炼化数据接入，保证数据流转畅通。另外，平台还额定提供了 ETL 能力，对数据进行治理与交融，实现算法建模前对数据进行预处理。
7）齐备的流程治理：平台提供从数据接入、数据分析解决、数据展现、特色工程、模型治理、模型部署以及智能利用上线一站式实现和治理。
工业大数据分析建模平台显著进步建模效率、转变模型开发方式
该石化企业通过大数据低代码建模平台，解决了炼油化工企业“有数据、无模型；有模型、难利用”、“建模老本高、建模周期长”的问题。通过实践证明在预测误差、利润产品收率、建模周期等方面均失去显著改善。
1）模型性能晋升，预测误差升高
基于大数据建模平台开发的“多通道多尺度卷积神经网络（MCMSCNN）”模型在加氢催化剂床层温度预测、氢气耗量预测方面误差 <3%，晋升了炼化工程师对外围工况参数的监控把握，大幅升高氢气、燃料气等生产成本。
基于低代码平台开发的“大数据预训练 + 工艺数据微调”迁徙算法解决了因 LIMS（实验室信息管理系统）化验剖析数据量有余而造成的产品性质预测模型性能不佳的问题，实现了加氢裂化产品性质的实时软测量，利润产品收率进步约 0.8%。
2）建模门槛升高，建模周期大幅缩短
数据智能建模平台实现了生产安装海量数据的无效利用，从数据采集到模型部署，由 2 周大幅缩短为 1 天。其中建模环节，因平台反对通过建设与炼油安装无关的工艺和品质的专题数据集来固化先验常识，迁徙建模特色，为大数据算法落地提供特色模板与数据根底，使建模工夫由原来的一周大幅缩短为 8 小时，建模效率大幅提高。
此外，该石化企业内的模型开发工作也实现了“去中心化”，从原有信息中心的个别工程师在实验室开发，转变为一线工程师联合生产问题宽泛开发，无效赋能生产。
3）模型资产实现复用
由炼化工程师自主研发的 10 余个机器学习模型，日调用量超 1000 余次。
厂商选型和企业科研意识是大数据低代码建模平台落地要害
该石化企业通过建设低代码工业大数据分析建模平台实现加氢安装多环境的优化，获得良好效果，其成功经验能够复用到炼化行业生产工艺环节、其余流程行业企业，或是供已建设工业物联网的企业借鉴，次要包含以下两点：
1）厂商选型
石化企业的生产流程具备显著行业特点，生产环境简单，对产品的稳定性、可靠性要求刻薄，且石化企业广泛不具备建模能力，建模平台实现后需提供欠缺的售后服务。因而厂商应具备以下能力。
厂商应具备工业、制造业或是能源行业的服务教训，具备肯定的行业 Know-how 积攒，了解行业工业互联网要求、理解企业业务流程。
厂商产品须为自主研发，能针对企业个性化需要进行定制化开发。
厂商产品及技术应兼容国产化软硬件环境，可能在国产 CPU、AI 减速芯片以及操作系统上稳固运行。
厂商应能提供数据分析师、数据科学家为企业提供培训教学，让一线工程师疾速把握根底概念，联合业务案例，通过实训的形式让工程师把握平台应用技能。
2）企业本身对数字化、对科研的器重
一方面，企业须要有强烈的科研意识，可能紧跟新技术倒退，敢于在本身业务畛域进行翻新；另一方面，企业管理层对工业互联网、对数字化建设的器重也是机器学习建模平台能顺利落地的保障。
4. 结语
机器学习正在向更多行业浸透，市场对数据迷信与机器学习平台的产品需要正变得更加简单。一方面，不同行业的数字化过程、IT 人才、建模人才储备不同，应用数据迷信与机器学习平台的的对象愈发多元化，包含不限于算法开发人员、模型开发人员、数据工程师、利用开发人员、BI 分析师、数据分析师等。不同对象对数据迷信与机器学习平台的性能诉求不同；另一方面，客户对机器学习平台解决方案的需要走向深水区，强调适应场景需要、产生业务价值，须要机器学习厂商能交融行业或场景常识，提供定制化的行业解决方案。
