关于高性能:RDMA打造存储利器

56次阅读

共计 1517 个字符,预计需要花费 4 分钟才能阅读完成。

导读

在数据一直增长的时代,数据的疾速解决对信息的无效利用至关重要。目前数据中心无论对存储读写带宽还是提早都有极致的要求,例如在线搜寻、挪动、游戏,视频直播畛域都须要以十分快的速度响应用户的申请,数据中心内任何一环导致提早,都会对用户体验产生极大的影响。

在高性能计算畛域,RDMA 技术很早就曾经失去了验证,并且进行了肯定范畴的利用。随着大数据与人工智能的高速倒退,RDMA 技术也将在企业内失去推广。

走进 RDMA 世界

在 TCP 的网络世界里,收到一个网络数据包,要通过网络层和传输层,最初才可能被应用层解决。网络层和传输层会耗费 CPU 资源,因为 CPU 还要解决其余的计算工作,这一方面使得网络传输性能收到影响,同时也会影响其它计算工作的性能。此外,在进行传统的 TCP 协定解决时,所有的数据都须要在用户缓冲区与内核缓冲区之间进行屡次复制,须要耗费极大的内存带宽,同时带来肯定的延时。

RDMA 技术就是为了升高网络传输中服务器端数据处理的提早而产生的。服务器网卡收到一个数据包,在网卡硬件上就能够实现网络层和传输层的解析,间接把数据传递给应用层,不须要 CPU 的干涉,从而开释内存带宽并缩小 CPU 耗费,进而晋升利用零碎性能。

为了无效利用 RDMA 技术的高带宽和低提早劣势,焱融云存储团队调研了反对 RDMA 技术的三种不同的网络协议:

  • Infiniband(IB): 应用 RMDA 专用网卡与交换机,从硬件级别全面反对 RDMA,保障传输可靠性
  • RDMA OVER Converged Ethernet(RoCE): 基于现有的以太网实现 RDMA,底层网络包头部是一般的以太网包头,下层网络包头部是 Infiniband 包头,因而 RoCE 只须要专有的反对 RoCE 网卡,就能够在规范以太网基础架构 (交换机) 上实现 RDMA
  • Internet Wide Area RDMA Protocol(iWARP): iWARP 间接将 RDMA 实现在了 TCP 上,这容许在规范以太网基础架构 (交换机) 上应用 RDMA,这种计划须要配置反对 iWARP 的非凡网卡

比照三种协定实现,Infiniband 性能最好,但须要额定配置较多的专用设备,零碎整体降级老本较高;RoCE 只须要替换专用的网卡设施,在获取性能劣势的同时,将老本管制在肯定范畴;iWARP 老本最低,但与 TCP 臃肿的协定栈相关联,性能上晋升无限。

焱融云分布式存储完满反对 RDMA

要实现反对 RDMA 网络的通信形式,须要应用 RDMA verbs API(OFED 提供了蕴含 libibverbs 和 RDMA-CM 等用户态库函数)编程,对原有的通信模块进行改良,最终实现的网络传输模块既能兼容最后的 TCP 通信形式,又能够同时向客户端提供 RDMA 连贯服务。
 
焱融云技术团队在焱融高性能分布式存储里实现了 RDMA 传输的性能,反对通过 InfiniBand,RoCE 或 TCP 来实现客户端到存储服务端的数据交互,以及存储集群服务器之间的数据传输。

性能大幅晋升

在性能上,咱们采纳 Mellanox connect- X 系列网卡以及 Mellanox 交换机基于以太网物理链路测试了 RoCE 的性能。从测试后果来看,绝对于 TCP/IP 通信协定, 小文件读写性能有了质的晋升。能够看到,基于 RDMA 技术的读写性能比基于一般交换机 TCP 传输的性能最高可晋升 4 倍。尤其是在小数据包的读写上,其性能劣势更为显著。

以上数据是基于 RoCE 形式实现的 RDMA 传输,如果应用专用的 InfiniBand 设施,其性能还会进一步晋升。有了 RDMA 这个利器,焱融云分布式存储在高性能计算、AI 人工智能等畛域将更具劣势,满足用户在这些业务中对性能的更高要求。

在一个又一个的技术挑战背后,在谋求卓越的路线上,焱融云从未止步。

正文完
 0