关于云计算:为-GPU-而来焱融科技推出新一代全闪分布式文件存储产品

26次阅读

共计 2074 个字符，预计需要花费 6 分钟才能阅读完成。

随着“东数西算”工程全面开启，打造全国算力一张网按下了“快进键”，国家、企业都开始关注算力布局中的时机和挑战。数据中心作为算力的物理承载，是数字化倒退的要害基础设施。然而，GPU 集群往往须要解决超大模型和宏大的数据，以后的 GPU 服务器本地硬盘曾经无奈满足如此大量的数据存储需要。与此同时，目前市场上支流的全闪存储产品状态大多是提供块存储服务，而针对须要分布式文件存储高性能场景的全闪存储产品并不多见。据 Gartner 报告预测，到 2025 年全闪存储市场份额将晋升至 57%；同期寰球非结构化数据容量的 60% 也将部署为分布式存储。纵观寰球存储倒退市场后，咱们能够预感，将来全闪存储才是存储行业的倒退方向。

为了保障算力基础设施的稳步发展和满足市场对全闪分布式文件存储的需要，焱融科技针对高性能计算场景，推出全新的企业级全闪分布式文件存储一体机焱融追光 F8000X 系列（以下简称：追光 F8000X）。追光 F8000X 搭载了第三代 AMD EPYC 计算平台和焱融高性能分布式文件存储系统 YRCloudFile， 采纳全 NVMe SSD、InfiniBand 高速网络，实现了单存储节点达到 40GBps 以上，2,000,000 IOPS，以极高性能充沛开释数据后劲。同时，业内当先的智能数据分层性能，不仅能保障高性能输入，同时还可兼顾数据存储经济性，进一步减速 HPC、人工智能、生信剖析、主动驾驶等高性能计算利用场景的存储降级。

焱融追光 F8000X 采纳了分布式架构，从“ 分布式并行文件系统、网路数据传输、物理存储 ”三方面提供了全方位的优化降级：

在分布式并行文件系统层面 ，首先焱融科技针对 AI 和 HPC 场景下的海量小文件问题，提出了横向程度扩大的解决方案，把单点的 MDS 集群化，采纳动态子树 + 目录 Hash 两者联合的形式，实现了元数据的散布存储，从而通过扩大元数据节点，反对百亿级别的文件数量，极大晋升了元数据的检索性能。其次，焱融科技极大水平保障了大文件 IO 的吞吐性能，将控制流和数据流（即元数据和数据存储）拆散，无效缩小对 MDS 更新频率的同时，大幅提高 IO 性能。

同时，为了进步小文件 IO 拜访性能，焱融科技采纳小文件内联、元数据缓存、文件信息 KV 化等技术手段，保障了 AI 场景中大量只读小文件的训练性能。最初针对目录热点问题，焱融科技通过减少虚构子目录的形式把热点摊派到集群中所有的元数据节点，不仅解决了元数据热点问题，同时也解决了单目录下文件数量问题。通过减少虚构子目录使单目录能够撑持 20 亿左右的文件数量，并且能够依据虚构子目录的数量灵便调整。

在网路数据传输层面 ，焱融科技在高性能分布式存储里实现了 RDMA 传输的性能，反对通过 InfiniBand、RoCE 或 TCP 来实现客户端到存储服务端的数据交互，以及存储集群服务器之间的数据传输。

在物理存储层面 ，追光 F8000X 采纳了全 NVMe SSD 构建物理存储空间，并基于 NVMe 存储架构做出的深度优化，充沛开释了 SSD 性能，不仅升高了提早，进步了 IOPS 和吞吐量，同时加强了服务器解决并发申请的能力。

据相干机构的预测数据显示，2025 年寰球数据圈将增长到 175ZB，而中国的数据圈将以年均 30% 的增速增长至 48.6ZB，届时中国将成为寰球最大的数据圈，数据圈规模将占寰球数据圈的 27.8%。面对巨量数据，首先要思考的是数据存储问题，不仅要保证数据不能丢，更要保障访问不能停、访问不能等。

全新一代的追光 F8000X 基于第三代 AMD EPYC 计算平台和焱融高性能分布式文件存储系统 YRCloudFile，采纳了全 NVMe SSD、InfiniBand 高速网络、反对 RDMA，充沛开释极致性能，完满匹配 GPU 集群对于数据拜访的性能需求，并以提供更简洁的部署形式、全生命周期的数据管理服务和灵便便捷的应用体验，解决企业用户的存储难点和痛点。