关于数据库:焱融构建多云数据存储平台-重塑云中数据活力

多云已成为企业 IT 架构新常态，是企业向云演进的最佳抉择。大型企业抉择云化能够进一步晋升 IT 建设程度，而中小企业则能够实现信息化治理节约资金投入，防止陷入简单 IT 架构建设的困境。随着企业云化演进的一直实际，企业在继续摸索抉择最佳建设模式。最后，繁多云平台被企业宽泛采纳，但随着云平台撑持的业务类型增多，繁多云平台的架构也暴露出诸多问题。一方面是不同云厂商的各自劣势，另一方面，繁多云供应商也减少了企业对数据安全的担心，这包含多私有云和多公有云。企业能够依据工作负载的要求，抉择私有云或者企业自建数据中心进行部署。

私有云因其灵便、可扩大、成本低等劣势，成为越来越多企业抉择的数据中心。弹性伸缩是私有云中一个要害个性，它能够让企业在业务需要变动时主动调整资源应用，从而更好地反对业务倒退。而企业自建数据中心可实现对数据的管控及独立管制经营，具备企业外围竞争力的业务可无效防止被厂商锁定，同时进一步施展企业自有平台的能力，帮忙企业把握上云的主动权。

企业多云 IT 架构演进面临的挑战

企业要实现多云 IT 架构转型，须要突破跨云数据共享、数据流动、对立数据管理的瓶颈，企业用户采纳多云建设模式之后，数据被扩散在不同的云平台中，利用是无奈实现跨云的数据调用，这就造成多个数据孤岛，无奈构建以数据为核心的企业数字化架构。企业用户依据利用的类型、数据处理和平安需要，抉择将不同的利用和数据部署在企业本地数据中心或私有云上，这就须要企业构筑跨云的对立数据管理和流动，以实现数据存储和治理的最佳效率。其中数据管理和流动包含全局数据调度、混合云容灾 / 备份 / 分级存储。

简而言之，企业抉择多云 IT 架构，推动数字化转型与倒退，重点是要解决如何最大化实现跨云和跨数据中心的资源共享，以及如何实现数据对立治理和驱动数据流动等外围问题。

企业构建多云 IT 架构的整体思路

随着以 5G、IoT、云计算、大数据、AI 为代表的新技术在数字化转型中的深刻利用，企业 IT 架构走向“传统 IT+ 公有云 + 私有云 + 边缘”的混合架构。存储作为 IT 数据基础设施底座，存储的读写性能决定了下层利用的性能和用户的体验，同时也是驱动数据流动的重要引擎。构建先进的数据存储平台也是企业实现多云 IT 架构转型的要害一环，企业须要关注以下几点建设方向:

• 企业须要利用各家云供应商的技术劣势，减速数字化利用开发，并抉择利用和存储拆散的 IT 架构，以实现跨云的数据共享。
• 推动存储厂商将业余存储以软硬件一体或者纯软件的形式部署到私有云平台，帮忙企业实现数据的跨云平滑演进。
• 企业布局跨云的数据对立治理平台，实现全局数据视图、全局数据调度、混合云容灾 / 备份 / 分级，使数据依照不同的服务等级寄存在存储的最佳地位，并疾速高效流动起来。
• 企业和存储厂商应踊跃拥抱容器等最新云技术，发展联结翻新，更好地施展多云的最优获益。

近年来，人工智能、HPC、大数据等技术也在彼此交融协同，利用场景不断丰富，催生了泛滥新的利用与翻新，如迷信智能 AI for Science，高性能数据分析 HPDA 等，并在疫情防控、危险人员辨认、主动驾驶、新药研发、劫难气象预测等畛域减速落地。晚期的 HPC/AI 利用次要集中在科研单位、重点院校、大型企业和 AI 公司等，大多运行在企业自建 IDC 的高性能计算集群环境中。随着 AI 与 HPC 计算机科学的一直倒退，单纯依附自建计算机集群资源已无奈满足技术演进的需要，广泛面临着扩展性不佳、性能呈现瓶颈、治理保护难的痛点。企业心愿可能联合公共云架构，通过高性能、高弹性、灵活性、免运维与低成本的云上算力，解决在建设高性能计算集群时始终面临着的诸多挑战。所以越来越多的企业客户开始将 AI、HPC 利用往云上搬迁。

AI、HPC 利用所产生的非结构化数据，例如视频、语音、图片文件等的容量正在从 PB 到 EB 级逾越。例如，1 台基因测序仪每年产生数据达到 8.5PB，1 颗遥感卫星每年采集数据量能够达到 18PB，1 辆主动驾驶训练车每年产生训练数据达到 180PB。而私有云上存储产品状态次要是两类：一类是分布式块存储：次要为云主机提供存储空间，如 AWS EBS 等；另一类是分布式对象存储：为云主机快照数据、网盘、大数据等利用提供存储空间。却短少匹配大规模 AI/HPC 计算集群的分布式文件存储产品，所以要实现 AI、HPC 利用在云上胜利落地，首先要解决来自数据面的挑战：

• 面对海量数据规模的 AI/HPC 数据，如何冲破传统存储架构限度，构建超大规模的存储空间，保障数据存储的可靠性和可用性；
• 集群化算力需要导致对存储的海量高并发拜访，如何提供高效的数据吞吐能力，疾速响应计算零碎收回的数据拜访，保障计算性能能够失去充沛的施展；
• 客户为了进行计算剖析，须要在本地和私有云计算集群间进行手动数据搬移，效率低下。如何驱动云上和云下以及多云之间的数据流动，灵便的组织数据集进行高效的计算剖析；
• 如何为基于容器的 AI 平台提供数据长久化、亲和性数据调度和组织；
• 对于宏大的非结构化数据带来治理越来越简单，难以依附人力将数据及时灵便地调配至正当的存储空间，数据管理效率低下，运维老本低等问题。如何让数据主动按需不同介质迁徙，升高数据经营成；

综上所述， 存储系统是 AI、HPC 高性能计算计划中重要的底层基础设施，也是最终实现 AI/HPC 云上落地的要害。

YRCloudFile 构建 AI/HPC 利用 多云数据存储平台计划

在理论业务建设中，私有云、公有云、混合云三者相辅相成，焱融分布式文件存储 YRCloudFile 基于业务场景的混合云需要，通过 YRCloudFile 智能分层和 Dataload 智能数据加载性能推出了多云数据存储建设计划，实现私有云和公有云数据全生命周期治理，将私有云及异构云买通，实现 AGI、AI 主动驾驶、AI 大模型、影视渲染的跨云建设。

实现海量非结构化数据存储

对于大规模 AI 训练或 HPC 计算场景，文件数据量会高达十亿，百亿甚至千亿的级别。面对如此海量的文件数量，传统存储架构因为采纳单体元数据服务设计，MDS 很容易成为资源瓶颈，所以是很难撑持的。YRCloudFile 采纳能够横向扩大的 MDS 元数据集群，通过多个 MDS 服务器来解决文件存储数量限度的问题，同时 MDS 数量的减少也能晋升元数据的解决性能。同时，通过 Entry Hash 的元数据搁置策略，使得整个集群随着目录数量的减少，文件平均的散布在各个 MDS 节点上，实现了元数据的散布存储，从而通过扩大元数据节点即可反对千亿级别的文件数量。另外，随着 MDS 数量减少，保障了元数据的检索性能，如：元数据操作（Creation、Stat）的性能也会呈线性减少。

元数据搁置策略示意图

另外，海量文件存储除了会造成 MDS 元数据服务的瓶颈之外，还很容易呈现目录热点问题。因为训练时，业务部门的数据组织形式不可控，系统管理员不晓得用户会怎么存储数据。很有可能用户会将大量文件寄存在同一个目录，这样会导致多个计算节点在训练过程中，会同时读取这一批数据，这个目录所在的元数据节点就会成为热点。YRCloudFile 通过虚构子目录的形式，把热点拜访摊派到集群中所有的元数据节点，无效解决拜访热点问题。此外通过虚构子目录还可能无效扩大单目录文件数量，使单目录能够撑持 20 亿左右的文件数量，并且能够依据虚构子目录的数量灵便调整。

极致存储性能完满撑持 HPC/AI 计算

通常咱们用带宽、IOPS 及提早这几个指标来掂量一个存储系统的性能。不同的业务场景对存储的性能需求也不尽相同。通常传统 HPC 场景大多是对大块数据的拜访，因而更加关注带宽性能，而也有一些 HPC 场景，比方：气象剖析、地质勘探等也会解决大量小文件，这时是须要十分高的存储 IOPS 性能。而对于大模型训练场景中会比拟关注读带宽、写带宽、读 IOPS 和读提早。YRCloudFile 实现全面性能优化：

• 高效的数据路由算法，晋升数据并发拜访性能

文件切片打散到多个 OSD：如图所示，每个文件都被切片并均匀分布在存储系统中的各个 OSD（磁盘）当中。尤其是大文件，通过切片数据扩散到多块磁盘中，才有可能取得更高的并发拜访性能；
存储客户端能够通过计算来获取所拜访数据在 OSD 上的地位，通过这种数据路由的形式，能够无效的防止和 MDS 元数据服务的交互次数，晋升并发拜访性能；

• 通过异步多队列线程池晋升 IO 并行处理能力

  异步多队列线程池模型

如图所示，在每个存储节点上都会有多个 listener，每个 listener 都会和固定的 NUMA node 进行绑定。每一个 OSD 会对应一块磁盘，每个 OSD 申请会被调配到相应的 NUMA node 的线程池外面，同时在调配计算外围时也会尽力保障内存亲和性，防止跨 NUMA 外围的内存拜访。listener 在收到 OSD 事件申请后，会调配一个 dispatcher 进行解决，其中对于解决较慢的申请会由 dispatcher 交给某个 worker。这样设计的目标是在 IO 处理过程中可能无效的缩小锁的抵触，晋升 IO 并行能力。

• 充沛开释全闪硬件平台能力

YRCloudFile 针对 NVMe 全闪零碎采纳间接 Polling 的形式，相当于是用 CPU 资源换取低提早，每个盘启动一个线程始终 polling，当来工作时立马去感知到事件去解决，使得 IOPS 晋升，升高提早。

YRCloudFile 基于原生 ibverbs 开发实现了 Multi-channel 多 InfiniBand 网卡聚合。反对多张 IB 网卡带宽性能聚合能力，在采纳 Round Robin 模式，在大 IO 场景下能够轻松跑满全副网卡性能，单个存储节点能够达到 40GB/s 带宽和 200 万以上的 IOPS 的极致性能。同时反对多网卡的 failover 以及自动检测的 failback 性能，防止链路故障造成的业务中断。

焱融全闪存储集群性能线性减少

实现多云数据双向流动

主动加载数据集组织高效计算

对于一些 AI、HPC 的用户通常会同时构建多云的计算环境。比方，在生信剖析行业因为测序业务量自身是存在稳定的，这会导致服务器的数量不能很好的管制。服务器有余则无奈满足业务顶峰时的测序工作。如果洽购能够满足最大峰值的集群，那么在业务量不能时刻放弃顶峰时，就会存在很大的老本节约。所以客户首先会在本地构建公有云计算环境作为惯例利用或小规模数据分析；而针对突发大规模计算需要则是会迁徙到私有云计算环境，在实现之后再开释计算资源，利用公云的计算弹性来降本增效。在主动驾驶场景，数据会先进入到对象存储，当须要通过计算集群进行训练的时候，再通过手动的形式把数据从对象存储拷贝到分布式文件存储中，当数据量很大的时候会非常低效。所以如何实现公有云和私有云之间数据的流转，快捷的组织数据计算，以及对冷热数据分层存储，降低成本，也是困扰客户的难题。

数据加载性能驱动数据流动

YRCloudFile 开发了 Dataload 数据加载性能，实现了文件存储与对象存储之间数据的双向便捷流动。YRCloudFile 与对象存储对接与买通，客户能够在 YRCloudFile 存储中疾速创立和对象存储 Bucket 的链接。当链接建设之后，YRCloudFile 文件系统会主动同步对象存储 bucket 中的对象元数据，将对象通明地显示为 YRCloudFile 文件。这使客户可能应用 POSIX 兼容的文件接口疾速地解决对象存储中数据。而且当解决实现之后数据能够增量、全量导出到对象存储。

驱动数据流动实现数据分级存储

用户在应用新型业务进行数字化、智能化转型的过程中，除了关注存储性能给业务利用带来的效率晋升外，还关注在数据量激增的背景下，总体应用老本的精细化管制。对大多数进行 AI 训练客户而言，数据具备阶段性热点拜访的特点，超过肯定工夫后，80% 以上的数据逐渐趋冷，齐全没必要应用高性能的存储介质和存储形式对这些冷数据进行存储。YRCloudFile 文件存储系统的智能分层性能，可依据客户需要定义冷热数据层，冷数据主动流动至底层规范的 S3 对象存储中，向上依然为业务提供规范的 POSIX 文件拜访接口，数据在冷热数据层之间流动对业务齐全通明。智能分层采纳智能减速模式，当读取几个字节时不须要获取整个文件，只须要读写更细粒度的分片，从而保障冷数据的读写性能。

焱融智能数据分层性能

焱融科技自研的高性能并行文件系统 YRCloudFile，提供了随容量线性扩大的存储吞吐和 IOPS 能力，最高可达百 GB/s 的吞吐和千万以上 IOPS 的极致性能；提供灵便的数据拜访接口，除了高性能的公有客户端外，还提供了通用的 NFS 接口，与云上计算生态无缝对接，实现整个生产链条下的数据共享，无效进步计算效率；通过 Dataload 数据加载性能可能主动加载任意对象存储数据，快捷组织数据计算；数据智能分层性能能够实现多级的文件存储策略，帮忙用户实现依据计算需要来弹性布局存储应用，进而实现升高云端 HPC 的存储老本，晋升数据调用、管理效率。目前，焱融 YRCloudFile 多云平台数据存储计划功能丰富，笼罩多行业场景，满足企业多样化的上云需要，真正实现数据的自在流动，用户能够轻松自如地控制数据在多云之间的流动，而应用层无感知，助力企业高效用云。