INDEX与MATCH的结合使用

在对数据做处理时,我们不免会需要使用到查找数据这个功能,比较常用的是excel中的vlookup函数,除此之外,index和match的结合使用也较常被使用到,本文主要介绍index与match的结合使用方法。一、match的使用1、实现功能:返回查找数据的位置(行或列)。2、语法结构:=match(lookup_value,lookup_array,match_type)。3、参数解释:1)lookup_value是需要查找的数据,即目标值;2)lookup_array是查找的范围,即目标区域;3)match_type是可选参数,0、-1、1三种。 4、举例说明:1)参数为0时,lookup_array数据无需按照固定的顺序。2)参数为1时,lookup_array数据需按照升序排列,返回小于或等于目标值的最大值的位置。3)参数为-1时,lookup_array数据需按照降序排列,返回大于或等于目标值的最小值的位置。 二、index的使用1、实现功能:返回指定位置对应的数据。2、语法结构:=index(array,row_num,column_num)3、参数解释:1)array是查找数据的范围;2)row_num是查找数据对应的行;3)column_num是查找数据对应的列。三、match与index的结合使用案例

July 16, 2019 · 1 min · jiezi

Faiss利用mkl加速,构建索引训练时出错。

前言记录一下faiss构建索引训练时碰到的一个坑。Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so.问题:利用英特尔mkl(Math Kernel Library)库加速faiss。 index.train()时报如下错误:Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so.<!–more–>解决方案在调用faiss之前导入调用mkl。代码如下:import mklmkl.get_max_threads()为什么这么做,我还不太理解。猜测是conda安装版本兼容的问题。具体可以看我提的issue补充如出现mkl导入失败的情况。如 import mklImportError: No module named mkl解决方式如下:### 执行:$ conda install mkl$ conda install mkl-service转自个人博客:https://kirio.vip/2019/03/28/…

March 28, 2019 · 1 min · jiezi

一个案例彻底弄懂如何正确使用 mysql inndb 联合索引

有一个业务是查询最新审核的5条数据SELECT id, titleFROM th_contentWHERE audit_time < 1541984478 AND status = ‘ONLINE’ORDER BY audit_time DESC, id DESCLIMIT 5;查看当时的监控情况 cpu 使用率是超过了100%,show processlist看到很多类似的查询都是处于create sort index的状态。查看该表的结构CREATE TABLE th_content ( id bigint(20) unsigned NOT NULL AUTO_INCREMENT, title varchar(500) CHARACTER SET utf8 NOT NULL DEFAULT ’’ COMMENT ‘内容标题’, content mediumtext CHARACTER SET utf8 NOT NULL COMMENT ‘正文内容’, audit_time int(11) unsigned NOT NULL DEFAULT ‘0’ COMMENT ‘审核时间’, last_edit_time timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT ‘最近编辑时间’, status enum(‘CREATED’,‘CHECKING’,‘IGNORED’,‘ONLINE’,‘OFFLINE’) CHARACTER SET utf8 NOT NULL DEFAULT ‘CREATED’ COMMENT ‘资讯状态’, PRIMARY KEY (id), KEY idx_at_let (audit_time,last_edit_time)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;索引有一个audit_time在左边的联合索引,没有关于status的索引。分析上面的sql执行的逻辑:从联合索引里找到所有小于该审核时间的主键id(假如在该时间戳之前已经审核了100万条数据,则会在联合索引里取出对应的100万条数据的主键 id)对这100万个 id 进行排序(为的是在下面一步回表操作中优化 I/O 操作,因为很多挨得近的主键可能一次磁盘 I/O 就都取到了)回表,查出100万行记录,然后逐个扫描,筛选出status=‘ONLINE’的行记录最后对查询的结果进行排序(假如有50万行都是ONLINE,则继续对这50万行进行排序)最后因为数据量很大,虽然只取5行,但是按照我们刚刚举的极端例子,实际查询了100万行数据,而且最后还在内存中进行了50万行数据库的内存排序。所以是非常低效的。画了一个示意图,说明第一步的查询过程,粉红色部分表示最后需要回表查询的数据行。图中我按照索引存储规律来YY伪造填充了一些数据,如有不对请留言指出。希望通过这张图大家能够看到联合索引存储的方式和索引查询的方式改进思路 1范围查找向来不太好使用好索引的,如果我们增加一个audit_time, status的联合索引,会有哪些改进呢?ALTER TABLE th_content ADD INDEX idx_audit_status (audit_time, status);mysql> explain select id, title from th_content where audit_time < 1541984478 and status = ‘ONLINE’ order by audit_time desc, id desc limit 5;+—-+————-+————+——-+——————————————+——————+———+——+——–+————-+| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |+—-+————-+————+——-+——————————————+——————+———+——+——–+————-+| 1 | SIMPLE | th_content | range | idx_at_ft_pt_let,idx_audit_status | idx_audit_status | 4 | NULL | 209754 | Using where |+—-+————-+————+——-+——————————————+——————+———+——+——–+————-+细节:因为audit_time是一个范围查找,所以第二列的索引用不上了,只能用到audit_time,所以key_len是4。而下面思路2中,还是这两个字段key_len则是5。还是分析下在添加了该索引之后的执行过程:从联合索引里找到小于该审核时间的audit_time最大的一行的联合索引然后依次往下找,因为< audit_time是一个范围查找,而第二列索引的值是分散的。所以需要依次往前查找,匹配出满足条件(status=‘ONLINE’)的索引行,直到取到第5行为止。回表查询需要的具体数据在上面的示意图中,粉红色标识满足第一列索引要求的行,依次向前查询,本个叶子节点上筛选到了3条记录,然后需要继续向左,到前一个叶子节点继续查询。直到找到5条满足记录的行,最后回表。改进之处因为在索引里面有status的值,所以在筛选满足status=‘ONLINE’行的时候,就不用回表查询了。在回表的时候只有5行数据的查询了,在iops上会大大减少。该索引的弊端如果idx_audit_status里扫描5行都是status是ONLINE,那么只需扫描5行;如果idx_audit_status里扫描前100万行中,只有4行status是ONLINE,则需要扫描100万零1行,才能得到需要的5行记录。索引需要扫描的行数不确定。改进思路 2ALTER TABLE th_content DROP INDEX idx_audit_status;ALTER TABLE th_content ADD INDEX idx_status_audit (status, audit_time);这样不管是排序还是回表都毫无压力啦。本文作者:周梦康阅读原文本文为云栖社区原创内容,未经允许不得转载。 ...

November 21, 2018 · 1 min · jiezi