相似度检测

前言记录一下faiss构建索引训练时碰到的一个坑。Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so.问题：利用英特尔mkl(Math Kernel Library)库加速faiss。 index.train()时报如下错误：Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so.<!–more–>解决方案在调用faiss之前导入调用mkl。代码如下：import mklmkl.get_max_threads()为什么这么做，我还不太理解。猜测是conda安装版本兼容的问题。具体可以看我提的issue补充如出现mkl导入失败的情况。如 import mklImportError: No module named mkl解决方式如下：### 执行：$ conda install mkl$ conda install mkl-service转自个人博客：https://kirio.vip/2019/03/28/…

前言记录一下Faiss在项目使用中的一些优化，对OMP_NUM_THREADS 环境变量参数的测试验证～ OMP_NUM_THREADS 用于控制线程并发数. 测试条件：单个循环请求，持续时间大于15m; 基础数据：200w 软件环境：docker; ubuntu 16.04 ;python2.7; faiss:1.4.0-cpu 检索服务功能: (汉明距离计算 + 欧式距离计算 )结论： 测试总结如下： * CPU=1 & OMP_NUM_THREADS=1时， - 1m,5m,15m load average 分布为 31.54，41.16，43.43; - CPUs(%) 用户空间占比：32.1;内核空间占比:2.4;空闲占比：65.2； - faiss 检索耗时大约在5-6ms左右； - 检索服务整体响应时间较平稳，大部分在12ms左右; * CPU=3 & OMP_NUM_THREADS=1时， - 1m,5m,15m load average 分布为 49.17，48.70，50.54; - CPUs(%) 用户空间占比：39.5;内核空间占比:4.2;空闲占比：30.3； - faiss 检索耗时大约在5-7ms左右； - 检索服务整体响应时间较平稳，大部分耗时在12ms左右; * CPU=3 & OMP_NUM_THREADS=10时, - 1m,5m,15m load average 分布为 41.33，43.90，55.87; - CPUs(%) 用户空间占比：20.7;内核空间占比:2.3;空闲占比：58.0； - faiss 检索耗时不稳定，抖动较大, 大约在10-90ms左右； - 检索服务整体响应时间存在抖动，大约在14-92ms左右; * CPU=1 & OMP_NUM_THREADS=10时, - 1m,5m,15m load average 分布为 67.77，61.89，61.07; - CPUs(%) 用户空间占比：20.6;内核空间占比:2.9;空闲占比：18.2； - faiss 检索耗时不稳定，抖动较大, 大约在5-80ms左右； - 检索服务整体响应时间存在抖动，大约在13-99ms左右; 最终结论： a: OMP_NUM_THREADS=1时，faiss检索耗时较稳定; b: OMP_NUM_THREADS=10时，faiss检索耗时不稳定，抖动较大; b: OMP_NUM_THREADS=1时, 多核CPU相较于单核CPU，负载略高，利用率略高，空闲占比较低； c: OMP_NUM_THREADS=10时, 多核CPU相较于单核CPU，负载较低，利用率较低，空闲占比较高； d: 优化方向：OMP_NUM_THREADS=1 + 多进程测试结果统计：* CPU=1 & OMP_NUM_THREADS=1* CPU=3 & OMP_NUM_THREADS=1* CPU=3 & OMP_NUM_THREADS=10* CPU=1 & OMP_NUM_THREADS=10 ...