乐趣区

关于机器学习:异构内存及其在机器学习系统的应用与优化

第四范式深耕于人工智能畛域,在人工智能相干算法、利用、零碎和底层架构设计等有兼具广度和深度的了解。

随着近几年先进存储技术的飞速发展,涌现出了具备颠覆性的存储技术,比方非易失性存储、SSD 等。基于此类技术的异构内存架构,正在颠覆传统应用程序的设计和优化模式。

第四范式在异构内存架构上领先布局,进行了若干创新性摸索研发和落地实际,比方参数服务器[第四范式推出业界首个基于长久内存、反对毫秒级复原的万亿维线上预估零碎:https://www.163.com/tech/arti…]、内存数据库等[英特尔、第四范式联结研究成果入选国内顶会 VLDB 傲腾™ 长久内存加持 优化万亿维特色在线预估零碎:https://newsroom.intel.cn/new…

此篇文章将介绍异构内存架构的技术背景,以及在主动机器学习零碎上的技术实际。

异构内存架构

传统上,咱们所说的内存个别是指动态随机存储,即 DRAM。此外,在 CPU 中还会存在小容量的疾速存储器件,咱们个别会称他们为 CPU 缓存(即 L1/L2 cache)。具备持久性的慢速存储器件则形成了外存,比方磁盘等。因而,外存、内存、和 CPU 缓存,形成了整个存储架构金字塔。然而,随着具备革命性意义的非易失性内存技术的商业化落地,使得这个金字塔中的内存不再由 DRAM 繁多组成,而是由 DRAM 和非易失性内存形成了异构内存架构。

此外,非易失性内存的呈现也含糊了内存和外存之间的性能边界,使得内存数据长久化成为了可能。明天,非易失性内存技术曾经齐全成熟,由英特尔于 2019 年公布的英特尔® 傲腾™ 长久内存(简称长久内存或者 PMem),即是此技术的代表性产品。

图 1. 基于异构内存的存储架构金字塔

图 1 显示了蕴含有异构内存的存储架构金字塔。能够看到,在实质上,长久内存处于金字塔中 DRAM 和外存之间,其在容量、性能、老本都是处于两者之间。甚至在性能上,它亦是一个 DRAM 和外存的混合体。它既能够间接当做内存应用(内存模式),也能够当作一个长久化设施应用(App Direct 模式,简称 AD 模式)。

在内存模式中,长久内存对操作系统通明,其容量间接反馈为整体的可用内存容量;AD 模式则将存储层级裸露,由开发者齐全掌控。因而,因为长久内存的非凡存在,古代内存架构不仅仅是在层级上变得更为简单,在性能上也呈现了革命性的变动,对于如何利用好异构内存架构,开发人员须要思考更多的问题,比方:

  • 多级存储的优化。长久内存提供了一个性能靠近于 DRAM,然而老本更低的内存计划,十分有利于对于内存耗费微小的利用。然而,多级存储架构的引入也为性能优化带来了更高的挑战。咱们晓得,高性能缓存在性能调优中有重大意义。一方面事实数据中往往存在热点,缓存能够无效晋升热点数据的拜访性能;另一方面,缓存敏感数据结构(cache
    conscious)为了压迫硬件性能,经常有精美的设计。那么,长久内存的呈现使得这个存储层级更为简单,对多级缓存机制、数据结构和算法的设计都提出了更高的要求。
  • 长久化机制的利用。长久内存使得外存不再是存储数据的惟一抉择。长久内存提供了远比传统外存器件更高的长久化性能,然而其容量绝对较小。在某些场景中如何无效的施展高性能长久化的特点,成为了利用落地须要思考的新问题。比方,对于须要全天候保障服务质量的在线服务利用,内存数据长久化即能提供离线当前的疾速恢复能力;另外,本来磁盘 IO 为性能瓶颈的场景,也能够利用长久内存来作为存储介质,来晋升整体零碎性能。

为了让大家进一步理解异构内存架构如何在理论场景中施展价值,咱们将抛砖引玉,分享第四范式在异构内存架构上的实践经验。

主动机器学习零碎在异构内存上的优化


图 2 显示了一个第四范式产品中一个典型的主动机器学习(AutoML)全流程。其主体上蕴含了离线摸索以及线上推理局部。离线摸索通过主动特色工程和模型训练,产出能够上线的特色工程脚本以及模型。线上推理服务在承受到用户申请当前,通过实时特色抽取和模型推理,拿到预测后果。同时音讯队列在整个零碎中起到了数据收集和散发的关键作用。

从表格 1 能够看到,在异构内存架构下,长久内存在不同组件中有不同的应用办法,从而达到不同的优化目标。总体来说,内存模式能够用来实现疾速的低成本内存容量扩大,AD 模式则带来了更多的好处,包含疾速恢复能力、晋升数据存储性能等。

第四范式曾经将基于异构内存优化的关键技术组建进行理解耦,并且奉献到了开源社区,目前次要蕴含两个我的项目:高性能音讯队列零碎 Pafka(https://github.com/4paradigm/… PmemStore(https://github.com/4paradigm/…。以下次要开展介绍 Pafka。

Pafka:基于异构内存优化的高性能音讯队列零碎

Kafka 是一个开源的分布式事件流 / 音讯队列零碎,用于高效,牢靠地解决实时数据流,在工业界中有十分宽泛的落地利用场景。然而,因为其长久化逻辑的存在,其性能(吞吐和提早)经常受到外存设施(HDD/SSD)的制约。在理论应用场景中,为了减少 Kafka 集群的总体吞吐量,企业不得不扩充集群规模,减少了企业的总成本。

长久内存具备高速长久化的个性,能达到几倍甚至几十倍于传统硬盘和 SSD 的长久化性能。因而,基于异构内存架构的 Kafka 的优化版本 — Pafka,正是利用了高速长久化的个性,大幅晋升单节点吞吐,从而优化在集群上的总投入老本。总体来说,相比拟于传统的 Kafka 解决方案,Pafka 带来了如下劣势:

  • 比拟于目前数据中心常见的 SATA SSD 的配置,基于异构内存的 Pafka 改良节点吞吐和提早均达 20 倍。
  • 因为大幅晋升了节点吞吐,因而在集群规模总投资上,相比拟于 Kafka,Pafka 能够缩小硬件投入老本 10 倍以上。
  • Pafka 间接基于 Kafka 优化,用户原有的基于 Kafka 的业务代码无需批改,能够零代码革新老本迁徙到 Pafka 零碎。

咱们对于 Kafka 的优化集中于造成性能瓶颈的数据落盘局部。原 Kafka 原有的架构中,数据长久化只产生在外存(磁盘 /SSD)这一层级;通过优化当前的 Pafka 版本,基于异构内存架构,同时把长久内存和外存用来做数据长久化。

具备高性能长久化能力的长久内存作为长久化层级的第一级,而容量更大但性能较差的外存则作为第二级长久化介质,两者通过肯定的缓存机制进行治理。

因为音讯队列的生产者 / 消费者的应用模式,大部分场景下数据的存取都会产生在高性能的长久内存中。


图 3. Pafka 集群架构
如图 3 所示,一个 Kafka 服务器集群由几个至上百上千个的 brokers 组成。Brokers 外部划分为了不同的 partitions,进一步划分为 segments,来进行音讯存储。咱们对于 Kafka 的革新次要集中在 segment 的存储数据结构上的革新。原来的 segment 只能存储在 HDD/SSD 等外存设施上,咱们应用 PMDK 来进行基于异构内存的长久化操作,引入 MixChannel 的概念,来实现 segment 既能存储在 HDD/SSD 的外存设施,也能在长久内存上。

具体来说,MixChannel 将一般的文件接口和长久内存的接口对立治理,其底层存储介质对于下层组件是通明的。为了反对基于长久内存的存储,咱们为 MixChannel 引入了数据结构 PMemChannel,其次要性能是把长久内存的 MemoryBlock 对象封装成满足 FileChannel API 的接口,从而能够让 MixChannel 不便的抉择基于传统文件的 FileChannel 接口,还是基于长久内存的 PMemChannel。这里咱们应用了 pmdk llpl 的 PersistentMemoryBlock,会主动为每次写入的数据进行长久化。同时,为了反对 zero-copy,咱们还为 llpl 的 MemoryBlock,通过间接映射长久内存的地址到 ByteBuffer,实现了 zero-copy 的 ByteBuffer 接口,从而防止了内存的屡次拷贝,晋升性能。

为了保护 segment 和长久内存上数据的对应关系,咱们为每个 segment 调配一个长久内存的 MemoryBlock,映射关系通过 pmdk pcj 的 ObjectDirectory 来保护。

此外,为了防止 MemoryBlock 在 Pafka 失常运行时动态分配的开销,咱们会在初始化的时候事后调配固定肯定比例的内存池空间,用于写数据的时候 MemoryBlock 的疾速调配。

性能比拟

图 4 显示,相比拟于数据中心中罕用的基于 SATA SSD 进行长久化的 Kafka,基于异构内存优化的 Pafka 在吞吐和提早的性能体现上均能够达到 20 倍的改良。

老本比拟

假如咱们的指标是提供 20 GB / 秒的整体吞吐率,咱们将异构长久内存的 Pafka 与基于 SATA SSD 的 Kafka 进行了比拟。图 5 显示,为了实现 20 GB / 秒的总吞吐率,基于 SATA SSD 的服务器和基于异构内存的服务器的数量别离为 45 和 3。此外,就硬件老本而言,传统的 Kafka(SATA SSD)须要破费为 45 万美元,而咱们的 Pafka 解决方案仅需破费 4.05 万美元。Pafka 解决方案将硬件老本大大降低到传统 Kafka 解决方案的 9%。

图 5. 20 GB/sec 吞吐的性能下,Pafka 和 Kafka 计划的老本比拟

更多信息

Pafka 为第四范式的开源我的项目,具体应用形式、技术支持、以及残缺性能报告能够通过以下渠道理解更多:
- 代码 Github repo:https://github.com/4paradigm/pafka
-Slack channel:https://join.slack.com/t/memarkworkspace/shared_invite/zt-o1wa5wqt-euKxFgyrUUrQCqJ4rE0oPw
-MemArk 异构存储技术论坛:https://discuss.memark.io/

退出移动版