乐趣区

关于内存:内存不超过5Mdatop-在识别冷热内存及跨-numa-访存有多硬核-龙蜥技术

datop 是一款轻量级实时性内存冷热扫描工具,可能扫描内存冷热以及跨 muma 访存的状况,其运行时开销和存储空间十分小(单 CPU 使用率不到 4% 和 5MB),此外不受硬件平台的限度,在物理机和虚拟机上均能反对。目前曾经在龙蜥社区开源了,内核态的局部代码是基于 OpenAnolis 5.10。

 开源地址:https://gitee.com/anolis/data-profile-tools.git 

以下是 Cloud Kernel SIG 核心成员分享《datop 轻量级靶向内存热点扫描工具介绍与入门》局部内容(视频回顾和技术 PPT 获取形式见文末)。

DRAM 内存低容量对系统造成性能影响日益突出,云计算场景中为缓解日益增长的内存需要,业界提出异构内存的应用,采纳两种或更多类型的内存:小型高性能内存以及大容量的低性能内存。此外,古代高端存储设备如固态驱动器和相位扭转内存,为进步内存性能提供了可能,这些代替计划给人一种谬误的幻觉,认为轻易能通过筛选数据的热度来抉择寄存的设施,的确这些信息在现有的内存治理中,能够通过全盘扫描内存冷热的形式失去,然而长时间扫描过程中很容易产生极大的开销,造成零碎性能损耗。

以后现有内存冷热扫描机制缺点:

  • 热点跟踪开销成比例增长:监控的内存越多,开销越大
  • 跟踪品质升高:监控内存范畴越大,监控品质降落越显著
  • 短少 numa 访存统计:跨 numa 访存性能影响不可疏忽

针对上述问题,咱们开发了跟踪实时内存热点数据的工具 datop(Data Access Top),采纳划分内存区域采样的形式,并自适应区域构建技术来获取极低的开销损耗,在此基础上,还减少了 numa 仿真性能,用于收集工作跨 numa 访存状况,为了评估其准确性和低开销能力,咱们选取和测试了多个 benchmark,并与基线进行比拟,结果表明:datop 工具在辨认冷热内存以及跨 numa 访存方面具备优良的体现能力。

具体分享提纲有以下 6 局部:

1、datop 的概述

2、背景:云计算大规模简单场景下内存面临的挑战

3、datop 开发设计和指标

4、热点扫描原理及策略

5、datop 工具测试状况阐明

6、datop 演示与试用及后续布局和思考





规范 datop 演示与应用,利用 datop 工具去监控测试用例 numactl -m 0 -C 30 memhog -r1000000000 100m 热点内存散布以及跨 numa 状况。

最初,介绍 datop 工具的布局和思考:

1、热点工具 region 粒度准确性进一步优化

2、Tiered Memory (Pro|De)motion 优化

3、THP Coalesce/Split

4、Proactive-reclaim

5、Proactive page migration 和 Duplicate backup

 欢送退出 Cloud Kernel SIG:https://openanolis.cn/sig/Cloud-Kernel
邮件列表:cloud-kernel@lists.openanolis.cn

对于回放和课件获取
【视频回放】:视频回访已上传至龙蜥官网(官网 - 动静 - 视频)。
【PPT 课件获取】:关注微信公众号(OpenAnolis),回复“龙蜥课件”即可获取。
有任何疑问请随时征询龙蜥助手—小龙(微信:openanolis_assis)。
—— 完 ——

退出移动版