Faiss优化:针对OMP_NUM_THREADS环境变量设置的测试验证

9次阅读

共计 1162 个字符,预计需要花费 3 分钟才能阅读完成。

前言
记录一下 Faiss 在项目使用中的一些优化,对 OMP_NUM_THREADS 环境变量参数的测试验证~
OMP_NUM_THREADS 用于控制线程并发数.

测试条件:单个循环请求,持续时间大于 15m;
基础数据:200w
软件环境:docker; ubuntu 16.04 ;python2.7; faiss:1.4.0-cpu
检索服务功能: (汉明距离计算 + 欧式距离计算)
结论:
测试总结如下:
* CPU=1 & OMP_NUM_THREADS= 1 时,
– 1m,5m,15m load average 分布为 31.54,41.16,43.43;
– CPUs(%) 用户空间占比:32.1; 内核空间占比:2.4; 空闲占比:65.2;
– faiss 检索耗时大约在 5 -6ms 左右;
– 检索服务整体响应时间较平稳,大部分在 12ms 左右;
* CPU=3 & OMP_NUM_THREADS= 1 时,
– 1m,5m,15m load average 分布为 49.17,48.70,50.54;
– CPUs(%) 用户空间占比:39.5; 内核空间占比:4.2; 空闲占比:30.3;
– faiss 检索耗时大约在 5 -7ms 左右;
– 检索服务整体响应时间较平稳,大部分耗时在 12ms 左右;
* CPU=3 & OMP_NUM_THREADS=10 时,
– 1m,5m,15m load average 分布为 41.33,43.90,55.87;
– CPUs(%) 用户空间占比:20.7; 内核空间占比:2.3; 空闲占比:58.0;
– faiss 检索耗时不稳定,抖动较大, 大约在 10-90ms 左右;
– 检索服务整体响应时间存在抖动,大约在 14-92ms 左右;
* CPU=1 & OMP_NUM_THREADS=10 时,
– 1m,5m,15m load average 分布为 67.77,61.89,61.07;
– CPUs(%) 用户空间占比:20.6; 内核空间占比:2.9; 空闲占比:18.2;
– faiss 检索耗时不稳定,抖动较大, 大约在 5 -80ms 左右;
– 检索服务整体响应时间存在抖动,大约在 13-99ms 左右;

最终结论:
a: OMP_NUM_THREADS= 1 时,faiss 检索耗时较稳定;
b: OMP_NUM_THREADS=10 时,faiss 检索耗时不稳定,抖动较大;
b: OMP_NUM_THREADS= 1 时, 多核 CPU 相较于单核 CPU,负载略高,利用率略高,空闲占比较低;
c: OMP_NUM_THREADS=10 时, 多核 CPU 相较于单核 CPU,负载较低,利用率较低,空闲占比较高;
d: 优化方向:OMP_NUM_THREADS=1 + 多进程
测试结果统计:
* CPU=1 & OMP_NUM_THREADS=1

* CPU=3 & OMP_NUM_THREADS=1

* CPU=3 & OMP_NUM_THREADS=10

* CPU=1 & OMP_NUM_THREADS=10

正文完
 0