乐趣区

关于云计算:焱融科技为国家重点实验室打造海量高性能存储

中国科学院大气物理研究所大气迷信和地球流体力学数值模仿国家重点实验室(英文缩写 LASG)是国家级重点实验室。LASG 次要钻研方向为地球气候系统模式的研发与利用;天气气象动力学实践、气候系统变化规律及其异样产生机制;天气气象可预报性、气象预测的新实践和新办法;地球流体宏观演变法则和机理。LASG 是蜚声国内外的大气迷信和地球流体力学钻研机构。

地球零碎模式是模仿气候系统行为和变动的重要工具,在气象钻研中扮演着重要的角色。地球零碎模式次要由大气环流模式、路表过程模式、陆地环流模式、海冰模式等圈层模式组成,并通过耦合器(CPL)将它们组合在一起。中国科学院地球零碎模式(CAS-ESM)是简单巨零碎大规模高性能计算的典型利用,是我国高度自主化研发的残缺地球零碎模式。CAS-ESM 是发展地球零碎数值模仿必不可少的载体,集对地球各圈层静止法则意识之汇合,将地球各个圈层及其相互作用综合起来,用零碎迷信的观点去钻研意识地球,从而成为地球科学研究的根底工具之一。

地球零碎模式:典型的高性能计算

正是因为 CAS-ESM 极其简单,计算量微小,对高性能计算提出了极高要求。随着地球零碎模式重量模式的增多、复杂度和模式分辨率的进步,高效率计算成为关键技术。

以后地球零碎模式的科研工作次要面临两方面的挑战:一是模式的钻研从繁多的物理气候系统模式走向零碎的、简单的地球零碎模式,须要综合大气、陆地、冰雪等零碎模式进行定量钻研;二是零碎模式钻研对于高分辨率模式的需要。在新形势下,地球(气象)零碎模式的研发工作给计算机技术的倒退提出了新的需要、新的挑战。该实验室在建造新型数据中心的过程中,性能、可扩大能力、海量文件反对、安全性等方面是重点思考的因素:

  • 在性能方面,CAS-ESM 零碎蕴含了泛滥的分(子)零碎模式,繁多分(子)模式计算过程中须要数百乃至上万个处理器核进行并行计算解决,同时也须要存储系统可能提供相应的 IO 性能,对于单个存储节点还是集群,都提出了较高的性能需求;
  • 在可扩大能力方面,在以后的效力计算体系中,该实验室须要搭建数 PB 级的高速并行可扩大存储,次要用于地球模式零碎,其中蕴含着不少图片、业余气象文件等非结构化数据。传统的存储体系很难撑持海量的数据存储需要,更难以跟上数据激增的步调,存储平台的可扩展性也受限;
  • 在海量文件反对方面,依据不同零碎模型,每次模型运算都将产生 TB 级的数据;并且科研工作者在进行不同课题钻研时也会产生数十乃至数百 TB 级数据,存储系统须要足以撑持大量的科研成果数据;
  • 在安全性方面,工信部在继续建立健全行业数据安全保障体系,所以实验室在建设存储平台过程中也要时刻关注数据安全性问题,在一直摸索新技术钻研利用过程中,逐渐实现平安防护技术的智能化和自主可控。

借助引领性的基础设施 颠覆技术创新

为进一步建设先进全面的科研模式,实验室抉择与焱融科技达成此次单干,独特建设高效的国家级实验室数据存储平台,为科研工作长足发展奠定根底。

业务平台建设计划架构图

通过焱融科技所提供的存储解决方案,该实验室搭建起大规模高速并行可扩大存储的数据平台,满足了根底钻研须要的同时,有了更多性能方面的晋升。

实现性能及容量的线性扩大

传统 NAS 存储容量及性能的扩大受制于控制器,横向扩大能力较差,无奈实现线性扩大。而通过 YRCloudFile 将多台存储服务器上硬盘的读写能力聚合造成聚合带宽,搭建通用 X86 服务器,实现软硬件解耦,可按需部署,灵便扩大,使存储系统总体性能呈线性增长。实验室后续可通过减少服务器的形式,晋升整个存储系统的容量及性能。本次部署的焱融存储集群即采纳此种模式,在客户数据中心原有硬件的根底上部署焱融 YRCloudFile 分布式存储软件组成存储集群,提供数 PB 级的应用空间。

海量文件反对

作为数据的核心层,焱融 YRCloudFile 具备海量结构化和非结构化数据管理能力,海量小文件操作和大文件解决的能力。不同科研人员可依据业务需要采纳相应存储接口对接到计算平台,YRCloudFile 所具备的大集群资源管理性能 QoS、配额治理等服务,可能更好的晋升整体存储服务能力。

满足数据平台全方位需要 数据管理效力大幅晋升

此次我的项目建设中实验室充分利用现有硬件,通过分布式文件存储 YRCloudFile 搭建存储集群,采纳全对称架构充分发挥硬件性能。提供全局繁多文件系统和对立命名空间存储服务,便于平台治理和业务应用。不仅解决了实验室科研零碎的高并发拜访数据、数据共享平安及数据可扩大能力的难题,还充分发挥了 YRCloudFile 高性能、高扩大、高可用的个性。在晋升海量文件数据存储能力的同时,实验室也实现了全生命周期的数据管理能力,保障百亿级文件操作性能晋升的同时,全面晋升数据管理效力。

退出移动版