关于大数据:华为云FusionInsight-MRS在金融行业存算分离的实践

36次阅读

共计 1939 个字符，预计需要花费 5 分钟才能阅读完成。

摘要： 华为云 FusionInsight MRS 的大数据存算拆散解决方案，实现资源价值最大化，存储与计算资源全面云化、灵便配置、弹性伸缩，降本增效。

在大数据、云计算、5G、AI 等技术突飞猛进，数字经济减速倒退的背景下，数据成为新的生产资料，数字化转型成为政企高速倒退的要害。作为数字化转型的先行者，金融行业利用大数据平台进行客户体验晋升、精准营销等业务。这些大数据平台在金融行业业务中施展着至关重要的作用，但宏大的数据量也给他们带来了新的挑战，企业在大数据平台的建设及扩容方面每年均放弃着肯定规模的投入，降本增效的矛盾在倒退过程中进一步被放大；海量数据驱动业务麻利响应，传统大数据平台从建设到落地的长周期，不利于业务的高速倒退；平台建成后，保护、降级、扩容均以集群为单位，治理离散，操作沉重。

传统大数据平台建设采纳存算一体的架构建设，在进行扩容时计算、存储资源会同步裁减，在局部场景下造成了资源冗余，利用率偏低。基于此，中国工商银行（以下简称工行）联结华为云 FusionInsight MRS 落地大数据存算拆散解决方案，实现资源价值最大化，存储与计算资源全面云化、灵便配置、弹性伸缩，降本增效。

工行大数据平台批量业务广泛采纳存算一体架构，原始数据、数据表、导出数据均存储在本地 HDFS，在现网局部批量集群中，CPU 利用率 50%，而存储利用率超过 70%。

工行采纳了华为云 FusionInsight MRS 大数据存算拆散计划，实现了大数据平台与 OBS 对象存储服务的对接，将原有的 HDFS 数据无缝迁徙到 OBS 上。在保障性能的前提下，实现了计算与存储独立按需扩容，轻松应答业务浪涌，晋升资源整体利用率。

大数据存算拆散演进示意图

此次实际不仅实现了计算与存储资源的按需扩容，还在存储、计算和易用性方面做到了最优。

存储方面， 工行原有大数据平台应用 HDFS 存储数据，1:3 的备份形式使得较多存储空间被耗费，华为独有的 Flex-EC 技术可将正本率升高至 1:1.25，存储资源优化晋升 2.4 倍。在云存储性能上，单流性能达到 300MB/s，为业界的 3 倍 +。

计算方面， 华为云基于存算拆散的大数据解决方案进行软硬件垂直优化，充分利用自研处理器的高并发能力，提供芯片级的全栈自主优化能力，应用华为自研的操作系统 EulerOS、华为 JDK 及数据减速层，充沛开释硬件算力，为大数据计算提供高算力输入，实现高性价比。在性能相当状况下，端到端的大数据解决方案老本降落。

易用性方面， 华为云 OBS 实现了原生 POSIX 语义，并补充了 Append，hFlush/hSync、HDFS 垃圾桶机制，rename 原子操作性能，大幅当先业界同类产品。这些都使得用户能够平滑、无感知的从原有平台切换到存算拆散平台。

传统大数据平台的群部署，依赖“硬件 -> 操作系统 -> 组网 -> 大数据平台”的部署模式，部署周期以周粒度计算，并波及多个业务部门协同操作。针对扩容、业务迁徙和前期运维，也是“一集群一计划”的操作模式，工作量大，物料和人工成本都偏高。

工行联结华为云部署的存算拆散大数据解决方案，全面兼容支流的大数据生态，100% 兼容开源原生接口，联合周边丰盛的数据及利用迁徙工具，基于 MRS WrapperFS 的个性，提供 OBS 的翻译能力，兼容 HDFS 到 OBS 的平滑迁徙，疾速实现大数据平台的平滑迁徙至存算拆散架构，整个迁徙过程做到“代码 0 批改，业务 0 中断”。

云端集群疾速发放个性，能够实现小时级集群发放，晋升效率数 10 倍，同时具备后盾、前台和 API 接口三种工作提交模式，疾速对接业务。针对前期扩容、运维场景，通过对立的运维治理平台，对多个大数据集群进行集中运维治理，并可能实现资源的弹性伸缩和灵便扩容。

中国工商银行大数据平台全面构建在 IaaS 云之上，本次华为与工行联结翻新借助新一代华为云底座进行存算拆散架构试点工作，全面验证了全新架构下的产品性能、技术水平和性能情况，全方位评估存算拆散架构的优缺点，总结经验，积攒技术实力，为后续工行大数据平台演进至下一代“存算拆散”与“存算一体”协同混合架构打下坚实基础，并为金融业大数据平台架构转型提供成熟解决方案。

本次存算拆散实际顺利施行标记着工行首次实现大数据体系由存算一体架构向“存算拆散”与“存算一体”协同混合架构的转型工作，全新的架构具备性能与老本最优，兼具灵活性、云化粗放管维的特点，可能无效地撑持中国银行业智慧化转型，同时为全国金融同业大数据平台架构转型施行提供参考。