乐趣区

关于高性能计算:高性能存储SIG月度动态iouring支持nvme直通DSMS完成开发测试

高性能存储 SIG(Special Interest Group)指标:存储畛域的倒退历程,实质上是存储介质与软件栈相互促进倒退的过程。高性能存储 SIG 致力于存储栈性能开掘,以后次要聚焦内核 io_uring 技术优化异步 IO 性能,应用长久化内存晋升业务单老本性能,容器场景存储技术优化等课题。高性能存储 SIG 冀望通过社区单干,打造规范的高性能存储技术软件栈,推动软硬件协同倒退。

01 SIG 整体停顿

1、本月合入 Anolis 主线 PR 共计 24 个,蕴含多个重要组件的个性反对,性能优化和 bugfix 等。

2、继上个月 ANCK 5.10 反对 erofs subpage block 个性后,ANCK 4.19 也提供这一个性反对,可晋升容器镜像 tar 包解压性能以及 golden image 的安全性。

3、ANCK 4.19/5.10 反对 virtfuse 模块,可不便云原生场景下 FUSE 文件系统的部署,利用于大数据和 AI 训练的存储接入等场景。

4、ANCK 5.10 反对 io_uring nvme passthrough 个性的 PR 曾经提交 review,打算合入 5.10-15 版本,POC 数据显示相比原生的 io_uring 门路性能晋升 ~15%。

5、DSMS 开发测试实现,构建打包中,打算在 Anolis 23 中公布预览版。

02 我的项目具体停顿

1)Anolis OS

cve:CVE-2023-0386(PR1608),CVE-2023-2269(PR1690/PR1691),CVE-2023-2513(PR1694)

erofs & fscache:反对 iomap(PR1638),反对 subpage block 个性(PR1639),修复增加 entry 到损坏的目录 crash 问题(PR1649)

io_uring:修复 uring cmd 提交失败的 bug(PR1644/PR1668)

ext4:优化 dio 笼罩写性能(PR1601),修复 ext4_xattr_set_entry UAF(PR1614),修复多个 ext4 bigalloc 的 bug(PR1657)

xfs:修复 xfstests xfs/191 用例失败问题(PR1594)

fuse:解决 FUSE_PASSTHROUGH 个性位抵触(PR1470),反对 virtfuse 个性(PR1606/PR1656),修复多个 fuse bug(PR1652),修复 virtfuse 在未注册回调函数的 bug(PR1655)

overlayfs:反对 virtiofs 作为 upper layer(PR1650),修复 virtiofs 作为 upper layer 的 bug(PR1651),修复 generic/683 用例失败问题(PR1667)

misc:修复 nilfs2 sysfs 接口生命周期问题(PR1626),修复 nilfs2 UAF bug(PR1666)

2)容器镜像

ANCK 4.19 反对 erofs subpage block 个性,可利用于容器镜像场景中 erofs 间接索引容器镜像的 tar 包,省去容器镜像生命周期治理中 tar 包的 untar 以及清理流程,从而晋升性能和稳定性,并晋升容器镜像作为 golden image 的安全性。

xattr bloom filter 曾经开发实现并收回 RFC 补丁,在 shared xattr 场景运行时性能有 ~20% 的优化;另外,xattr 和压缩单元继续清理代码中。

erofs-utils 报告 2 个 cve,目前曾经初步解决,并在 erofs 的 fsck 工具中集成了 fuzz 框架来满足 malicious image 的 fuzz 需要,同时基于 fuzz 框架进一步加固 erofs-utils。

3)io_uring

ANCK 5.10 反对 io_uring nvme passthrough 个性的 PR 曾经提交 revew,将在接下来公布的 5.10-15 版本公布;从测试版本的 POC 数据来看,相比原生的 io_uring,性能有 ~15% 的晋升。接下来将在分布式存储我的项目端到端验证。

4)dsms

dsms 曾经在 Anolis 8.6 上实现了 dsms-engine、dsms-storage 以及 dsms-ui 等组件的性能联调,并且通过测试,目前曾经胜利构建 dsms-ui、dsms-engine;dsms-storage 构建目前短少依赖包,将在 SIG 群里跟进解决。待全部包构建胜利后,将依照社区包引入流程提交申请,打算在 Anolis23 中公布预览版。

03 下一步打算

xattr bloom filter 合入上游主线;实现 erofs 反对 deflate 压缩个性开发,并反对 subpage。

借助开源之夏我的项目,erofs-utils 反对多线程打包和解压,以及 fuse 加强等个性。

io_uring nvme passthrough 个性合入 ANCK 5.10 主线。

dsms 持续实现构建打包,并提交包引入申请,适配 Anolis 23。

相干链接:

高性能存储 SIG 主页:https://openanolis.cn/sig/high-perf-storage

注:更多龙蜥 SIG 月度动静可点击这里查看。

—— 完 ——

退出移动版