摘要：工行采纳了华为云 FusionInsight MRS 大数据存算拆散计划，实现了大数据平台与 OBS 对象存储服务的对接，将原有的 HDFS 数据无缝迁徙到 OBS 上。在保障性能的前提下，实现了计算与存储独立按需扩容，轻松应答业务浪涌，晋升资源整体利用率。
工商银行作为数字金融的领导者，践行“科技引领，翻新赋能”的倒退理念，继续晋升工行金融服务实体经济的能力。工商银行和华为发展联创工作，引入了华为云 FusionInsight 智能数据湖，搭建了自主牢靠的大数据平台，解决了大数据全场景生态化利用的存储、算力和算法挑战，撑持了工商银行企业级数据湖、数据仓库、团体信息库的建设，数据智能服务由预先疾速演进到事先、事中的阶段。
【业务挑战】
传统大数据存储计算耦合，TCO 高
工行之前应用传统大数据的三正本存储性价比低，往往 10PB 的存储空间，无效容量仅 3PB；同时存在存储、计算等资源不平衡，往往存储利用率超过 70%，但 CPU 利用率有余 50%，扩容时须要计算、存储资源一起扩容，存在资源节约景象。
湖仓数据割裂，产生数据孤岛，协同剖析难
工行外部应用 SAS 等工具通过 HiveQL 拜访数据湖数据性能差，均匀响应工夫 5 分钟~2 小时，并发能力有余（<10 并发）。湖仓数据割裂，关联剖析须要通过繁冗的 ETL 工作，将数据加工后加载到 OLAP 集市，数据链路长，剖析效率和开发效率都很低。
平台降级需中断，短少平滑演进能力
工行大数据平台的 Hadoop 批量集群已超过 1000 节点，日均解决作业 10 万 +，数据存储数十 PB，承载了全行重点批量作业，其中包含反欺诈、精准营销等多个重要业务场景，服务连续性需要较高。而大数据技术迭代快，传统降级形式需断电、重启等操作，降级操作简单，影响现网业务运行，且大集群降级耗时长，突发故障易中断降级动作。
【解决方案】
华为云 FusionInsight MRS 云原生数据湖助力构筑金融大数据平台
工行采纳了华为云 FusionInsight MRS 大数据存算拆散计划，实现了大数据平台与 OBS 对象存储服务的对接，将原有的 HDFS 数据无缝迁徙到 OBS 上。在保障性能的前提下，实现了计算与存储独立按需扩容，轻松应答业务浪涌，晋升资源整体利用率。华为独有的 Flex-EC 技术将正本率升高至 1:1.25，存储资源优化晋升 2.4 倍。
工行大数据平台承载了总行和 200+ 分支行的数据，为了解决数据分布散、协同难等问题，升高金融分析师的用数难度，工行采纳了华为云 FusionInsight MRS 的 HetuEngine 服务，通过 HetuEngine 引擎实现跨地市的协同计算，一个 SQL 连贯就能够拜访全副数据源，间接做碰撞剖析，实现湖仓互联互通协同剖析，防止不必要的 ETL 流程，缩小数据搬迁
大数据技术疾速倒退，为满足业务变动倒退需要，工行采纳了华为云 FusionInsight MRS 滚动降级计划，借助于 Hadoop 外围组件的高可用机制，MRS 依照依赖档次，多层次并行，在不影响集群整体业务的状况下，一次降级 / 重启大量节点，根据组件和实例的依赖关系，主动编排降级批次。降级过程中，隔离故障节点，待降级实现后，再进行故障解决。循环滚动，直至集群所有节点降级到新版本。
【客户价值】
MRS 存算拆散计划，TCO 升高 60%
计算 / 存储解绑定，精准投资，灵便扩大，计算资源利用率晋升 30%+，存储资源利用率晋升 100%+，TCO 升高 60%。对立数据存储底座，多个计算集群共享同一份数据，升高业务布局、扩容、保护难度，提供百亿文件 EB 级扩大能力。
HetuEngine 跨源跨源协同
应用华为云自研框架 HetuEngine，大幅度降低计算资源节约，仅原 1 / 5 的硬件资源即可反对 45+ 并发，跨源跨源协同剖析性能晋升至秒级，兼容 99% Hive 语法，利用无缝迁徙。
MRS 滚动降级实现架构平滑演进，业务 0 中断
通过华为云 FusionInsight 滚动降级能力，实现大集群分批次滚动降级，业务 0 中断；故障节点隔离性能确保降级动作的稳固运行，实现 7 *24 小时不间断服务；1000+ 精细化运维指标及可视化操作简化运维，实现一个架构继续演进。
将来为满足工行业务高速倒退需要，工行金融数据湖规模将达 3000+ 节点，满足工商银行批处理、流解决、交互式剖析等大数据利用场景, 进一步晋升数据洞察能力和基于场景的数据挖掘能力，充沛开释大数据作为根底型策略资源的外围价值。
本文分享自华为云社区《华为云 FusionInsight 助力宇宙行打造金融数据湖新标杆》，原文作者：徐礼锋。
点击关注，第一工夫理解华为云陈腐技术~