关于存储:焱融为国家电网打造存算一体的融合基础架构-助推能源行业新基建

4次阅读

共计 4284 个字符,预计需要花费 11 分钟才能阅读完成。

“人类发展史就是一部利用能源的历史”,从钻木取火到核电站,乃至最近的新闻爆点“可控核聚变”,人类把握能源的能力就是人类文明倒退的象征。在经济倒退中,电力作为所有经济流动的根底撑持,小到居家办公,大到铁路交通,从能源照明到智能 AI,都离不开电力反对,而电力系统作为电力输入的“根底单位”,成为诸多产业倒退的“地基”。现在电力系统已顺利迈入信息化、智能化时代,倒退阶段从规模化倒退进入了区域电网互联阶段。


电力系统业务背景

电力系统设计与时俱进,从原始的笔纸作图到当初的业余工业设计软件,在设计的复杂度和效率上都有微小的晋升。从业务建设角度看,电力系统的性能越来越多,这使得在零碎的设计上也越为简单,这包含从超高压输电网络到配电网络的设计,以及整体工程和产品设施的设计等。从业务产生的数据角度看,电力系统的数据量随着规模的壮大也同步增长,从 2D 设计作图的图纸模式到现在 3D 工业设计软件,一个电力设备在设计 3D 模型时可拆解为几百到上万个配件,这类设计模型通常数据量在几十 MB 到几个 GB 之间;而在模仿仿真验证阶段所产生的数据量更是指数级的减少,因为仿真过程会产生大量环境数据和各种物理量数据,例如力学量、电磁学量等,通常验证数据量累计达到 TB 以上,而大量的产品设计模型数据和验证数据就是乘积的数据量。所以从数据存储的需要上曾经呈现出猛增态势,这些数据造成了贵重的电力行业产品数据库,宏大的数据量催生了成熟的产业体系。


国家电网大规模业务数据平台建设思路

在电力系统建设更加成熟的模式下,业务对电力设备的设计成绩要求更高,业务心愿设计制作环节可能更加效率,而晋升效率最基本的方法是采纳先进的设计软件以及匹配这些业务软件的 IT 平台,其中 IT 平台蕴含三大外围能力,即计算、网络、存储。随着电力行业的数字化建设推动,越来越多的技术利用到电力行业中,以晋升整体效率,升高建设老本,其中包含诸多支流 IT 技术用于根底建设,如本我的项目建设领导意见提出的交融部署建设技术、容器化计算技术、GPU 减速技术、分布式高性能存储技术。除承载电力设备设计以外,这些技术还可能反对更多其余业务零碎的运行,IT 平台需具备肯定的宽泛适用性,最大化进步经济实用能力,从而晋升电力系统的综合实力。

本次建设是国内省级统一规划运行国家电网我的项目,省核心及下辖 13 个地市数据中心,承载的业务零碎包含“数字孪生”、“人工智能中控平台”、“电力设备设计零碎”、“输变电工程监控零碎”等业余业务零碎和通用办公零碎。

因为业务零碎泛滥,文章篇幅无限,此次咱们列举其中的几个业务板块来剖析其业务特点。

业务板块一

本次我的项目建设中的电力设计零碎中大量采纳了工业设计 3D 仿真软件,比方:Solidworks,3Ds Max,CATIA、Rhino、Cinema4D、VRay 等;同时还应用了业余的电力软件,包含:BPA 和 PSASP,PSS/E,EMTP/ATP。这两大类软件根本形成了电力设计次要利用领域,业务需要对 IT 的计算、网络和存储都提出了高性能的要求,尤其在 3D 仿真利用下,数据量增长和高性能需要尤为显著。

• 大量 3D 文件模型设计,须要较高的带宽读需要;
• 设计过程中应用的 VDI 桌面的业务零碎须要大量共享和并发需要;
• 数据范畴从图形到设计和渲染,以及仿真的状态量文件(小文件 + 大文件),共存优化;
• 对于业务增长带来的数据量增长,长期治理问题;

业务板块二

此次建设的“数字孪生”和“人工智能中控平台”是典型的 AI 利用场景,对海量数据存储和计算有着较高的要求,通过 AI 辅助治理业务,并且数字孪生要实现 1:1 的业务模仿还原,这个过程会产生大量的数据,尤其是多维度的反映事件状态信息。

• 在“数字孪生”业务中小文件和大文件的数据量随业务的增长猛增;
•“人工智能中控平台”在 AI 辅助下须要解决大量的业务数据交互,这个过程会产生海量小文件;

业务板块三

“输变电零碎”设计利用了更多的 3D 电力设备和整套电气设计要求,其中以输变电站为例,业务流程中蕴含以下几局部:

• 三维精细化设计
• 仿真验证物理模型
• 全套业余计算与校核
• 生成全业余施工图
• 数字化移交成绩

在“输变电零碎”设计流程中,设计软件在加载过程中会读取大量的数据,在计算过程中会产生一定量的长期数据;当实现建模进入到仿真验证环节,又会产生大规模的仿真验证数据。这些数据作为最初剖析设施各种属性的根据,数据维度越多,剖析就越精确,目前这类技术规范在行业中成为支流做法,全面完成设施全流程设计和验证工作,很大水平升高了工夫周期和整体老本投入。从“精细化设计”到“生成业余施工图”的过程中,都须要数据共享;

业务板块四

在此次我的项目建设中除了须要满足前几个大业务板块的业务个性要求,也须要同时满足惯例办公业务零碎的应用。本次建设省数据中心和地市数据中心共计 13 个,每个数据中心的业余业务零碎有所差别,但惯例办公业务是对立的零碎,须要反对各部门的办公业务存储需要。

综上剖析,电力系统业务对 IT 根底建设的需要有以下几点:

• 计算、存储交融部署,采纳支流技术、满足业务泛用性、扩展性和经济性;
• 业务零碎数据量宏大,且有 AI 业务类型和工业设计类型数据,对性能要求严格;
• 设计业务零碎和数字孪生等零碎,要求数据具备高性能共享能力;
• 整体建设应保障高可靠性要求,保障业务零碎稳固运行;


构建电力 IT 平台在综合应用环境下的高效存储

联合国家电网的业务需要,此次采纳交融部署的计划,即通过焱融分布式文件存储系统 YRCloudFile 承建该我的项目中的存储平台,通过秒云的容器云产品,实现计算平台的搭建,整体交融部署采纳 X86/ARM 硬件平台,合乎我的项目建设的选型要求。

在存储平台建设中,焱融高性能分布式文件存储 YRCloudFile 因为采纳了分布式存储架构,数据存储可弹性扩大,可扩大的数据量达到 EB 级,元数据规模可达百亿级别,完满承载了以后业务的生产要求和将来业务的扩大需要,同时兼顾性能稳定性。容器化计算和分布式存储等多项支流技术搭建的 IT 根底平台,实现了容器长久化存储,GPU 虚拟化计算以及业务数据生命周期治理等性能。整体平台建设计划特点如下:

采取交融架构

计算平台采纳秒云容器化计算,存储平台应用焱融高性能文件存储 YRCloudFile,通过 CSI 接口将 YRCloudFile 文件存储空间提供到容器计算,以实现容器长久化存储能力,并且提供如 QoS、配额、热点追踪等性能,满足高效能的计算调度和海量数据高性能反对。

因为计算和存储采纳交融部署技术,硬件平台选用规范服务器硬件,大大降低运维后端备件压力,确保业务长期稳固运行。 同比传统计划,硬件收入老本升高 40%,耗电和机房空间升高 50% 以上,通过交融部署极大的压缩了用户老本收入。

满足高性能业务

业务零碎“3D 电力设备设计”、“数字孪生”、“人工智能中控平台”、“输变电零碎设计”具备雷同业务个性,对数据的计算和存储的读写有很高的性能要求,为了可能充分发挥计算能力,存储端采纳了 YRCloudFile 高性能文件系统。因为 YRCloudFile 文件系统提供公有客户端的 POSIX 协定,能够满足计算层 GPU 和 CPU 高性能吞吐要求。YRCloudFile 元数据设计采纳了分布式构造,在百亿级文件数量下,放弃性能稳固。YRCloudFile 文件存储相比传统存储架构,业务效率可晋升 75%,设计过程耗时由一周左右压缩至 2-3 天实现。

数据共享能力

在此次建设利用零碎中,计算集群须要共享数据,YRCloudFile 是文件存储类型,人造具备数据共享能力,提供规范的 NFS/SMB 协定。除此之外,还可提供公有客户端协定,CSI 接口等,能够满足 TCP 协定下数万个并发挂载应用,同一份数据可通过权限治理共享给用户,防止传统的数据孤岛。

高牢靠

秒云容器云和焱融 YRCloudFile 文件存储均是分布式全对称部署架构,具备高度冗余性,秒级实现容器计算切换过程,响应水平高,对业务无影响。同时,在硬件抉择上,采纳标准化企业级硬件,具备企业级服务规范,99.99999% 可靠性。

平台计划建设架构图

在数据即资产的数字化建设认知下,存储平台搭建作为整体 IT 基础设施中最重要的一环,须要满足多种需要,因为采纳分布式存储架构设计,在海量数据量场景中放弃性能继续稳固是本次建设的外围驱动力。“数字孪生”、“人工智能中控平台”、“电力设备设计”这些业务场景承载着海量数据,对存储的要求由“存起来”变成“存起来”+“存取要快”,在业务零碎中普遍存在大量小文件,传统存储的读写性能成为瓶颈,而 YRCloudFile 分布式文件系统采纳了分布式元数据技术可能很好的解决小文件疾速存取的性能问题。

在混合文件场景下,YRCloudFile 将大文件和小文件混合场景进行综合优化,无论是存取小文件还是大文件,都能开释性能劣势。本次建设的存储接入网络上线测试可跑满带宽,且 YRCloudFile 兼容所有支流网络协议和设施,最大可反对 200Gb IB 网络叠加,用户可依据业务须要抉择适合的网络设备和计划。

焱融 YRCloudFile 并行文件架构采纳元数据高性能设计和数据缓存技术,面向海量数据场景,适配本我的项目中的 3D 电力设备设计,变电零碎设计、人工智能业务场景;同时,采纳提供包含 CSI、POSIX、NFS/SMB 等多种协定接口,作为容器计算长久化存储,可将存储个性充分发挥,通过 WEB 监控来实现多项监控,满足用户日常运维要求,实现数据全生命周期治理。

秒云容器云基于 Kubernetes 为外围底座,实现集群治理、多租户治理、Linux 和 Windows 利用全生命周期治理、容器和虚拟机对立治理、共享 GPU 调度、CI/CD、微服务治理等性能和服务。采纳 GPU 调度技术,最大化利用 GPU 算力资源,防止算力资源节约。


瞻望

在本次电力系统建设中,从用户反馈和实际能够看到,电力能源行业通过多年转型曾经从传统模式向智能化、数字化方向落地,并且业务中大量使用了 3D 技术、人工智能技术,这些业务都要依靠海量数据的撑持,数据即资产曾经深刻到行业,成为生产力不可或缺的一部分,无效利用业务数据发明价值才是 IT 根底建设重点发力方向。

在存储选型时,企业须要思考数据的高效治理和扩大需要,业务能力长足发展。存储平台在本次建设中宽泛适用性显著,对存储的综合能力要求更加全面。在部署业余业务零碎的同时,还须要部署惯例办公零碎,焱融 YRCloudFile 文件存储既具备超高性能的个性,又具备高扩大,易用性的属性。让用户真正感触到好的存储“不挑”业务,适用性好,为客户实现降本增效。

正文完
 0