简介：淘宝搜寻举荐、视频搜寻的背地应用了什么样的检索技术？非结构化数据检索，向量检索，以及多模态检索，它们到底解决了什么问题？明天由阿里巴巴达摩院的科学家从业务问题登程，抽丝剥茧，深度揭秘达摩院外部技术——向量检索引擎 Proxima，以及相干畛域的现状、挑战和将来。

人工智能，简称 AI，是计算机创造时就存在的一个技术畛域。它的一大外围特点就是能够类人脑地辅助人类工作。其通过一系列数学的办法，如概率论、统计、线性代数等，剖析和设计出能让计算机主动学习的算法。

如下图所示，人工智能算法能够对物理世界的人 / 物 / 场景所产生各种非结构化数据（如语音、图片、视频，语言文字、行为等）进行形象，变成多维的向量。这些向量如同数学空间中的坐标，标识着各个实体和实体关系。咱们个别将非结构化数据变成向量的过程称为 Embedding，而非结构化检索则是对这些生成的向量进行检索，从而找到相应实体的过程。

非结构化检索实质是向量检索技术，其次要的应用领域如人脸识别、举荐零碎、图片搜寻、视频指纹、语音解决、自然语言解决、文件搜寻等。随着 AI 技术的广泛应用，以及数据规模的一直增长，向量检索也逐步成了 AI 技术链路中不可或缺的一环，更是对传统搜寻技术的补充，并且具备多模态搜寻的能力。

一 业务场景

1 语音 / 图像 / 视频检索

向量检索的第一大类利用就是对语音、图像、视频这些人类所接触到的，也最为常见的非结构化数据的检索。传统的检索引擎只是对这些多媒体的名称和形容进行了索引，而并没有尝试对这些非构造数据的内容进行了解和建设索引，因而传统引擎的检索后果具备十分大的局限性。

随着人工智能的倒退，AI 的能力使得咱们能够疾速且老本较低地对这些非结构化数据进行了解，这样就使得对这些非结构化的数据内容进行间接检索成为了可能。这其中，很重要的一环就是向量检索。

如下图所示，以图片搜寻为例，咱们先以离线的形式对所有历史图片进行机器学习剖析，将每一幅图片（或者图片里宰割进去的人物）形象成高维向量特色，而后将所有特色构建成高效的向量索引，当一个新查问（图片）来的时候，咱们用同样的机器学习办法对其进行剖析并产出一个表征向量，而后用这个向量在之前构建的向量索引中查找出最类似的后果，这样就实现了一次以图片内容为根底的图像检索。

2 文本检索

向量检索其实很早就曾经在常见的全文检索中用到了。咱们这里用地址检索为例来简略介绍下向量检索技术在文本检索中的利用状况和价值。

如下图右边的例子，咱们想在规范地址库中搜寻“浙一医院”（而规范地址库中恰好又没有“浙一”这个关键词，“浙一医院”的规范地址是“浙江大学医学院从属第一医院”），如果咱们只应用文本分词（“浙一”和“医院”），在规范地址库中是不会找到相干后果的（因为“浙一”这个地址不存在）。然而咱们如果可能利用对人们历史语言，甚至之前的点击关联进行剖析，建设起语义相关性的模型，把所有的地址都用高维特色来表白，那么“浙一医院”和“浙江大学医学院从属第一医院”的类似度可能会十分高，因而能够被检索进去。

另外一个例子，如下图左边所示，同样是地址查问，如果咱们想在规范地址库中搜寻“杭州阿里巴巴”的地址，在仅应用文本召回的时候，简直没方法找到类似的后果，然而咱们如果通过对海量用户的点击行为进行剖析，将点击行为加上地址文本信息合并造成高维向量，这样在检索的时候就能够人造的将点击率高的地址召回并排列在后面。

3 搜寻 / 举荐 / 广告

在电商畛域的搜寻 / 举荐 / 广告业务场景中，常见的需要是找到类似的同款商品和举荐给用户感兴趣的商品，这种需要绝大多数都是采纳商品协同和用户协同的策略来实现的。新一代的搜寻举荐零碎吸纳了深度学习的 Embedding 的能力，通过诸如 Item-Item (i2i)、User-Item (u2i)、User-User-Item (u2u2i)、User2Item2Item (u2i2i) 等向量召回的形式实现疾速检索。

算法工程师通过对商品的类似和相干关系，以及被浏览和被购买的用户行为的形象，将它们表征成高维向量特色并存储在向量引擎中。这样，当咱们须要找一个商品的类似商品（i2i）时，就能够高效快捷地从向量引擎中检索进去。

4 简直笼罩了所有的 AI 场景

其实，向量检索的利用场景远不止下面提到的这些类型。如下图所示，它简直笼罩了大部分的能够利用 AI 的业务场景。

二 向量检索的现状和挑战

1 繁多的检索算法

向量检索实质为了求解 KNN 和 RNN 两个问题，KNN（K-Nearest Neighbor）是查找离查问点最近的 K 个点，而 RNN (Radius Nearest Neighbor) 查找查问点某半径范畴内的所有点或 N 个点。在波及到大数据量的状况下，百分之百精确求解 KNN 或 RNN 问题的计算成本较高，于是引入了求近似性解的办法，因而大数据量检索理论要解决的是 ANN（Approximate Nearest Neighbor）的问题。

为求解 ANN 的问题，业内提出了不少的检索算法。罕用的算法，最早能够溯源到 1975 年提出的 KD-Tree，其基于欧式空间，采纳多维二叉树数据结构解决 ANN 检索问题。20 世纪 80 年代末，产生了空间编码和哈希的思维，次要以分形曲线和部分敏感哈希为代表。分形曲线和部分敏感哈希属于空间编码和转换的思维，相似思维的算法还有 Product Quantization (PQ) 等，这些量化算法将高维问题映射到低维进行求解，从而进步检索效率。21 世纪初，采纳街坊图解决 ANN 问题的思维也开始萌芽，街坊图次要基于“街坊的街坊可能也是街坊”的假如，事后建设数据集中所有点的街坊关系，造成具备肯定个性的街坊图，检索时在图上进行游走遍历，最初收敛失去后果。

向量检索的算法繁多且不足通用性，应答不同数据维度和散布有不同算法，但总体可归为三类思维：空间划分法、空间编码和转换法、以及街坊图法。空间划分法以 KD-Tree、聚类检索为代表，检索时疾速定位到这些小汇合，从而缩小须要扫描的数据点的量，进步检索效率。空间编码和转换法，如 p-Stable LSH、PQ 等办法，将数据集从新编码或变换，映射到更小的数据空间，从而缩小扫描的数据点的计算量。街坊图法，如 HNSW、SPTAG、ONNG 等，通过事后建设关系图的办法，去放慢检索时的收敛速度，缩小须要扫描的数据点的量，以进步检索效率。

2 面临的技术挑战

向量检索在倒退过程中，也涌现出了一些优良的开源作品，如 FLANN、Faiss 等。这些作品对业内一些罕用和无效的 ANN 算法进行了对立实现和优化，通过运行库的形式，造成一些工程化的检索计划。基于这些运行库和改良，业内也产生了一些服务化的工程引擎，如 milvus、vearch 等。

尽管向量检索倒退多年，并逐步成为非结构化检索的支流办法，但仍存在了不少的技术挑战和问题。

超大规模索引的精度和性能

源于非结构化数据的繁多而简单，向量检索天生便是用于应答这种大规模的数据检索，但面对亿级，甚至十亿级以上的场景，许多检索算法仍面临了挑战，工程实现也存在着一些问题，要么构建老本微小，要么检索效率低下。

另外，维数的减少也造成了一些向量检索办法的效率降落，在高维空间下金玉其外; 败絮其中，同时工程上也减少了数据计算和存储老本。其次，算法上不足齐全通用性，无奈对数据实现泛一致性检索，即任何数据分布上，检索算法都是无效的。

目前，业内在解决高维十亿级别的数据时仍显得力不从心，多采纳多片索引别离检索合并的办法，减少了理论计算成本。

分布式构建和检索

向量检索目前多通过数据分片的形式实现程度扩大，然而过多的分片容易造成计算量的回升，从而导致检索效率的降落。在分布式方面，仍存在向量索引疾速合并算法的难题，这便导致了数据一旦分片之后，无奈很好套用 Map-Reduce 计算模型合并成效率更高的索引。

流式索引的在线更新

传统的检索办法能很不便的实现增查改删（CRUD）的操作，向量检索依赖数据分布和间隔度量，局部办法还有数据集训练的要求，数据点的变更甚至动一发而牵全身。因而，要实现向量索引的从 0 到 1 的全流式构建，并满足即增即查、即时落盘、索引实时动静更新的要求，对算法和工程仍存在着一些挑战。

目前，对于非训练的检索办法，能较不便的反对全内存索引的在线动静新增和查问，然而面对即时落盘、内存不足、在线向量动静更新和删除等要求，操作老本很大，满足不了实时性。

标签 + 向量的联结检索

在大多数业务场景下，须要同时满足标签检索条件和相似性检索的要求，如查问某些属性条件组合下相似性的图片等，咱们称这种检索为“带条件的向量检索”。

目前，业内采纳多路归并的形式，即别离检索标签和向量再进行后果合并，虽能够解决局部问题，但少数状况下后果不甚现实。次要起因在于，向量检索无范畴性，其指标是尽可能保障 TOPK 的准确性，TOPK 很大时，准确性容易降落，造成归并后果的不精确甚至为空的状况。

简单的多场景适配

向量检索是一种通用能力，但目前尚无通用算法能够适配任意场景和数据，就算同一种算法适配不同数据时，也存在参数配置的差别。如对于多层聚类检索算法，应用什么聚类算法、分多少层、聚多少类、检索时应用什么样的收敛阈值，这些在面对不同场景和数据时都是不一样的。正是因为这些超参调优的存在，大大加大了用户的应用门槛。

想让用户变得更简略，必然须要思考场景适配的问题，次要包含数据适配（如：数据规模、数据分布、数据维度等）和需要适配（如：召回率、吞吐、时延、流式、实时性等）两方面。基于不同的数据分布，通过抉择适合的算法和参数，以满足理论的业务需要。

三 达摩院向量检索技术揭秘

Proxima 是阿里巴巴达摩院自研的向量检索内核。目前，其外围能力广泛应用于阿里巴巴和蚂蚁团体内泛滥业务，如淘宝搜寻和举荐、蚂蚁人脸领取、优酷视频搜寻、阿里妈妈广告检索等。同时，Proxima 还深度集成在各式各类的大数据和数据库产品中，如阿里云 Hologres、搜索引擎 Elastic Search 和 ZSearch、离线引擎 MaxCompute (ODPS) 等，为其提供向量检索的能力。

Proxima 是通用化的向量检索工程引擎，实现了对大数据的高性能相似性搜寻，反对 ARM64、x86、GPU 等多种硬件平台，反对嵌入式设施和高性能服务器，从边缘计算到云计算全面笼罩，反对单片索引十亿级别下高准确率、高性能的索引构建和检索。

1 外围能力

如上图所示，Proxima 的次要外围能力有以下几点：

• 超大规模索引构建和检索：Proxima 精于工程实现和算法底层优化，引入了复合性的检索算法，基于无限的构建老本实现了高效率的检索办法，单片索引可达几十亿的规模。
• 索引程度扩大：Proxima 采纳非对等分片的办法实现分布式检索。对于街坊图索引，解决了无限精度下图索引疾速合并的难题，与 Map-Reduce 计算模型可无效进行联合。
• 高维 & 高精度：Proxima 反对多种检索算法，并对算法做了更深层的形象，造成算法框架，根据不同数据维度和散布抉择不同算法或算法组合，依据具体场景需要实现精度和性能之间的均衡。
• 流式实时 & 在线更新：Proxima 采纳扁平化的索引构造，反对在线大规模向量索引的从 0 到 1 的流式构建，并利用街坊图的便利性和数据特点，实现了索引即增即查、即时落盘，以及实时动静更新。
• 标签 + 向量检索：Proxima 在索引算法层实现了“带条件的向量检索”办法，解决了传统多路归并召回后果不现实的状况，更大程度的满足了组合检索的要求。
• 异构计算：Proxima 反对大批量高吞吐的离线检索减速，同时解决了 GPU 构建街坊图索引的难题，另一方面也胜利解决了小批量 + 低延时 + 高吞吐的资源利用问题，并将其全面利用在淘宝的搜寻举荐零碎中。
• 高性能和低成本：无限老本下实现最大化性能并满足业务的需要是向量检索须要解决的次要问题。Proxima 实现了对多种平台和硬件的优化，反对云服务器和局部嵌入式设施，通过与散布式调度引擎的联合实现离线数据检索和训练，通过扁平化索引和磁盘检索的计划实现了对冷数据的疾速检索。
• 场景适配：联合超参调优和复合索引等办法，通过对数据采样和预试验，Proxima 能够解决一些数据场景智能适配的问题，从而进步零碎的自动化能力，以及加强用户的易用性。

2 业内比照

目前，业内广泛应用的向量检索库是 Facebook AI 团队开源的 Faiss (Facebook AI Similarity Search) 引擎。Faiss 十分优良，也是不少服务化引擎的根底外围，但 Faiss 在大规模通用检索场景方面仍存在一些局限性，如流式实时计算、离线分布式、在线异构减速、标签 & 向量联结检索、老本管制以及服务化等方面。

例如，针对公开的十亿规模的 ANN_SIFT1B 数据集（起源 corpus-texmex.irisa.fr），在 Intel(R) Xeon(R) Platinum 8163 CPU & 512GB 内存的服务器上，因为 Faiss 要求的计算资源过于宏大，无奈实现单机十亿规模的索引的构建和检索。而 Proxima 在同样的环境和数据量下单机能够轻松实现十亿规模的索引的构建和检索。

思考到测试的可行性，达摩院团队在同样是 2 亿规模的数据量下，针对索引构建和检索比照了 Faiss 和 Proxima，另外，同样 2000 万规模的数据量下，比照了 Faiss 和 Proxima 单卡的异构计算能力，对于十亿规模的数据量 Proxima 则独自给出测试数据，具体后果如下。

检索比照

Proxima 的检索性能优于 Faiss 数倍，并且能实现更高精度的召回，针对 TOP1 的检索更是技胜一筹。除此，Faiss 在一些算法实现上也存在设计缺点，例如 HNSW 的实现，针对大规模索引，检索性能非常低。

构建比照

Faiss 两亿规模索引的构建工夫须要 45 小时，采纳 HNSW 优化的状况下可缩短到 15 小时，而雷同资源下 Proxima 一个多小时便可构建完索引，并且索引的存储更小，精度更高（见检索比照）。

异构计算

Proxima 采纳了和 Faiss 不一样的 GPU 计算方法，特地针对“小批量 + 低延时 + 高吞吐”的在线检索场景进行优化。

Proxima 在小批量场景体现出了惊人的劣势，小批量、低延时、高吞吐，并能充分利用 GPU 资源。目前，该检索计划也大规模利用在阿里的搜寻举荐业务上。

十亿规模

Proxima 反对流式索引和半内存构建检索模式，真正做到了无限资源下，单机十亿规模级别的索引构建，以及高性能高精度检索。Proxima 这种高性能低成本能力为 AI 大规模离线训练和在线检索提供了强有力的根底反对。

四 技术瞻望

随着 AI 技术的广泛应用以及数据规模的一直增长，向量检索作为深度学习中的支流办法，其具备的泛检索和多模态搜寻的能力也将进一步失去施展。物理世界的实体和特色，通过向量化技术进行表征和组合，映射到数字世界，借助计算机进行计算和检索，开掘潜在逻辑和隐式关系，更智能的服务于人类社会。

将来，向量检索除了要面对数据规模的一直增长，算法上仍须要解决混合空间检索、稠密空间检索、超高维、泛一致性等问题。工程上，面对的场景将越来越宽泛，也越来越简单，如何造成强有力的系统化体系，贯通场景和利用，将是向量检索下一步倒退的重点。

作者：大沙，阿里巴巴达摩院机器智能实验室 资深技术专家
鹤冲，阿里巴巴达摩院机器智能实验室 资深技术专家

原文链接

本文为阿里云原创内容，未经容许不得转载