乐趣区

关于云计算:NVMe-over-TCP高性能文件存储焱融科技Lightbits让未来照进现实

你真的懂 NVMe 吗?

在说 NVMe 之前,咱们感觉有必要先聊一聊 NVM(Non-Volatile Memory),即非易失性内存。从名字上看就晓得,NVM 是一品种内存式(拜访及寻址形式相似)的设施,它必须具备高速读写数据的能力,但它和一般内存的区别在于 Non-Volatile,即在关机后再关上电源也能够检索里边所存储的数据。这种非易失性内存 NVM 设施有很多种实现,咱们罕用于服务器的大容量 NVM 是一种闪存,即 Flash Memory。闪存是一种固态芯片,支流的闪存设施应用 NAND 技术来映射数据,这种芯片无需任何内部电源即可保护存储的数据,它的读写速度比内存稍低,但无需借助机械形式进行寻址,因而读写性能远高于机械磁盘,容量也比内存要大,单 GB 老本近年来疾速降落,大有成为服务器上高速存储介质支流设施的趋势。

NVMe 协定组成架构

有了设施和协定就能够了吗?

有了 NVM 设施和拜访这个设施的协定 NVMe,就肯定能享受到这些设施带来的高性能了吗?答案是否定的。

首先要说到的,就是数据传输的问题,数据传输指的就是 NVM 设施到服务器内存之间的传输。外围组件互连 Express(PCIe)是目前应用最多的传输介质。NVM 设施及 NVMe 协定设计之初,也是先面向 PCIe 或 PCI Hub 的。通过 PCI 拜访 NVM 设施会有什么问题呢?很容易就能想到,一台服务器上 PCI 接口是无限的,因而也不能接入很多的 NVM 设施,那么容量就会受到限制了。此外,数据中心内其它服务器也很难通过 PCI 拜访另一台服务器上的 NVM 设施。这就很大限度了 NVM 设施的应用。

除了 PCI 之外,还有什么形式能进行 NVM 设施上数据的传输吗?当然有,这就是 NVMe over Fabric,所谓的 Fabric 有几种形式,能够是 Fibre Chanel,即目前磁盘阵列中应用的传输网络,或者 InfiniBand。NVMe-oF 使得一台服务器能够通过网络的形式,通过 NVMe 协定间接拜访远端另一台服务器上的 NVM 设施,带宽和延时近似于设施插在本地服务器上,这就极大拓宽了 NVM 设施的应用范畴。但仔细的读者应该很快能反馈过去,在古代数据中心,TCP 网络应用更广,因而,NVMe 组织在 2019 年推出了 NVMe over TCP 技术,从而使服务器通过 TCP 网络就能够拜访远端的 NVM 设施了。

NVMe over TCP 技术作为创新型技术,从推出就瞄准了通过 TCP 互联的,更广大的云和数据中心大规模应用 NVM 设施的场景。

其次是拜访效率的问题,与 SCSI 等协定不同,NVMe 协定实现了多队列的架构和指令集,更能施展多核 CPU 服务器的解决能力,使该协定指令集在多核 CPU 服务器上施展更好的性能,存储系统如果不能针对这些特点进行深刻的优化,也不能充沛享受到新型介质和协定带来的红利。而针对 NVMe 协定和设施进行的零碎级优化,是包含焱融科技在内的软件定义存储厂商须要攻克的难关。

此外,还须要思考利用拜访接口的问题 。目前,人工智能、高性能计算零碎次要通过文件系统拜访非结构化数据,构建以 NVMe 协定为根底的,以高带宽、低延时为外围要求的 高性能文件系统 是利用零碎的外围要求,这也是 利用场景驱动翻新的出发点

YRCloudFile+LightOS 联结解决方案

LightOS 是以色列技术型存储翻新企业,焱融科技与 Lightbits 联结计划,能够为用户提供 NVMe 多队列并发拜访的极致性能,最重要的是,能将 NVMe 设施通过 TCP 形式,组成高性能分布式文件系统,向下层利用提供文件拜访服务。对下层利用而言,齐全无需关怀底层存储细节、数据如何搁置,即可应用高 IOPS、高带宽、极低延时的文件共享拜访服务。

联结计划参考架构

焱融科技与 Lightbits OS 对参考架构进行了性能、可靠性、可用性的测试,测试架构如下所示:

各个服务器之间应用 25Gb 以太网进行连贯,应用三台服务器搭建 YRCloudFile 集群,在罕用的 TCP 网络条件下,单个客户端节点的 4K 随机读 IOPS 可达 38 万,写 IOPS 达 30 万,读写延时均低于 400us。多客户端拜访,各客户端性能互不烦扰,集群可为每个客户端稳固提供雷同的性能。

在大 IO 程序读写测试中,单客户端读写带宽均达到 2.8GB/s,靠近 25Gb 网络带宽下限。

应用 vdbench 模仿 200,000 个不同文件大小进行读写带宽测试,对 4K 小文件的读写性能为 1280MB/ s 和 1040MB/s,对 128KB 大文件读写性能可达 2800MB/s。

联结计划劣势

YRCloudFile+LightOS 联结计划,具备以下劣势:

  • 只需借助现有的以太网络,即可疾速搭建基于全 NVMe 的分布式文件系统,无需购买额定的专用替换设施和网卡
  • 多个下层应用服务器可通过文件接口共享拜访底层海量非结构化数据
  • 业界一流的文件系统随机读写、程序读写性能
  • 数据去重压缩,TCO 缩小 20%-50%
  • 单集群可达百 PB 空间,承载百亿文件。满足海量的文件数量与空间需要
  • 可同时提供文件存储和块存储接口,满足不同业务接口的需要

High performance file system is critical infrastructure facility to applications like AI. YanRong Tech and Lightbits Lab cooperate closely, announce the NVMe/TCP file system with high performance and massive small files support, providing an innovative solution to all customers and partners.\
—— Alfred Chase Hui,Lightbits 亚太区销售总监

该联结计划十分实用于人工智能、高性能计算、基因迷信、影视渲染、气象剖析、资源勘探等依赖高性能文件系统,以及领有海量非结构化数据的利用场景,能无效帮忙客户晋升业务系统对非结构化数据的拜访性能,从而改良业务运行效率,解决数据分析的零碎瓶颈。

如需获取解决方案残缺版本,查看举荐架构以及参考性能指标,请发送邮件分割咱们:sales@yanrongyun.com。

Lightbits Labs

成立于 2016 年的 Lightbits Labs 正在寰球范畴内重塑古代云基础设施。公司的使命是重构存储和网络在云数据中心的部署形式。Lightbits 的软件定义分离式存储解决方案为企业公有云、软件即服务 (SaaS) 和基础架构即服务 (IaaS) 提供商节俭大量工夫和老本,同时实现更高的应用程序性能和公共云级别的可扩展性。Lightbits Labs 最先意识到全 NVMe 高性能存储介质及协定与规范 TCP 网络相结合所带来的机会。其 LightOS®软件和 LightField™存储加速卡是第一个提供在规范 TCP 网络上运行的全局闪存转换层 (GFTL) 的 NVMe/TCP 解决方案。

焱融科技

焱融科技是一家以软件定义存储技术为外围竞争力的高新技术企业,在分布式存储等关键技术上领有自主知识产权,是高性能文件存储和容器存储的领导者。焱融科技外围产品 YRCloudFile 在寰球 IO500 性能测试中,进入世界前六。同时,YRCloudFile 是国内首个进入 CNCF Landscape 的容器存储产品。焱融科技针对各行业业务个性,打造个性化行业解决方案,提供一站式的产品与服务。焱融科技系列产品已服务于人工智能、金融、政府、制造业、互联网等行业的泛滥客户。理解更多焱融科技信息,请拜访官网 http://www.yanrongyun.com。

退出移动版