共计 2705 个字符，预计需要花费 7 分钟才能阅读完成。
万物皆可向量化。
近日，在 QCon 寰球软件开发大会北京站的现场，Zilliz 合伙人、技术总监栾小凡进行了名为《万物皆可向量化—— Milvus 的现状与将来》的主题演讲。
栾小凡从向量数据库的基本知识、Milvus 2.0 的个性及性能、向量数据库云原生实际、向量数据库的将来这四个方面，率领现场听众体验一场向量数据库与云交错的将来之旅。其中，Milvus 的用户场景、向量数据库云原生实际与向量数据库的将来局部引发现场的关注与探讨。
以下是这三局部的精彩集锦：
Milvus & ChatGPT
在开源畛域，Milvus 已失去寰球上千家企业级用户的信赖，包含 eBay、Shopee、Walmart、快手、宜家等，最大部署规模超过 10 亿向量。
同时，在很多利用场景下，Milvus 的 QPS 超过 10K。典型的利用场景包含：在长文本畛域，能够进行翻译、问答、语义检索、情感剖析，语义检索和问答能够与 ChatGPT 配合应用，晋升其答复的准确度；在图片畛域能够进行去重、指标检测、图片检索、多模态的图文互搜；在视频畛域进行举荐、合规检测、分类等。
当然，也有很多新兴的利用场景，包含在生物制药畛域把生物分子式转化成向量，判断生物小分子与蛋白质是否紧密结合；在音频畛域进行去重、情感剖析；在风控畛域辨认潜在的危险；在主动驾驶畛域能够通过向量检索帮忙主动驾驶找出实时判断过程中没有剖析进去的物体。
以问答机器人为例，在理论利用过程中它是如何通过 Milvus 来实现的？
简略来说，数据分成了两局部，一部分是 Question Dataset，另一部分是 Ask Question。而后通过 Text embedding 的形式生成 Vector，并将其写入 Milvus。在理论查问的过程中，把用户的查问通过雷同的算子将其生成一个向量，再通过向量查问 Vector database，最终拿到一组类似的 ID，这些 ID 通过反查失去更多的信息。随后能够运行一个精排模型，比方利用 ChatGPT + prompt 的形式进行查问后果的演绎 / 总结。
具体教程可参考：Towhee
云上的心得与思考 Milvus 对于云的心得和思考其实能够从四个方面概括，即：微服务化设计、接口即服务、调度、跨云。
首先是微服务化设计。Milvus 的架构设计是一个非常复杂的分布式系统，因而采纳了微服务化和存储计算拆散的设计。Milvus 提供一系列接口形象，反对三种不同品种的存储，即元信息存储、流存储和批存储。而不同的存储接口又囊括多种实现形式，例如，对象存储包含了开源的 Minio 和云 S3；元信息存储反对开源的 Etcd 和云的 RDS。
其次，接口即服务。这是 Milvus 十分要害的设计，每一个微服务都是由不同的接口定义的，其背地包含多种不同的实现，有嵌入式引擎、分布式集群，也有 Severless 服务。这样做的长处是能够将资源池化、对立开源与云、实现与接口拆散。
再者，调度，不仅仅是工作。在过来的大数据畛域，调度通常会和任务调度联合，而在一个云原生的环境下，调度的复杂度大大晋升，不仅调度工作自身，它还在调度 resource、数据。云上有一种说法，即在线下环境中实现一项工作，兴许须要用一个 CPU 跑 100 分钟，在云上则能够用 100 个 CPU 跑 1 分钟来实现。Milvus 团队将其称为“云的资源交换律”。当然，资源交换律并不是在任何状况下都成立的。为实现这个定律，Milvus 进行存储计算拆散以升高调度 Resources 的老本；尽可能动静调度计算资源以满足以后的算力要求；调度数据自身，借助 caching、冗余、locality 等策略升高计算调度老本。
最初，跨云。多云 / 混合云的劣势很多，包含平安合规、有更高的议价空间、可用性更高以及 No Vendor Lock in。
当然，多云自身也带来了很多额定的复杂度，对此，Milvus 有本人的四大哲学：
一是基于开源或云标准接口（S3，SQL）构建服务；二是利用形象能力解耦 – Terraform、Crossplane；三是辨别管控面与数据面，实现对立的治理能力；四是基于多云实现 CI/CD。
向量数据库的挑战与将来
向量数据库的大趋势是什么？以后行业面临怎么的挑战？Milvus 对此有哪些应答形式？
对于这些问题，栾小凡将六大挑战作为切入点进行了回应：
其一，可运维性。如何在 AI 畛域部署及运维向量数据库是整个行业面临的一大挑战。为此，团队在 Milvus 上做了一系列的工作。从云原生的角度来看，尽可能地复用基础设施；从开源用户的角度来看，尽可能升高零碎对外部组件的依赖，使部署和运维向量数据库变得更加简略。
其二，性能老本。目前，咱们看到了 GPU 减速向量检索的可能，也看到了在很多的数据集底下 GPU 可能提供 5-10 倍以上的 CPU 的性能。所以，在下一个大的 Roadmap 外面 Milvus 也会去反对 GPU。此外，过来在做向量检索时，必须要把数据加到内存外面，这限度了整个向量检索的数据量。目前，Milvus 曾经实现反对基于磁盘内存混合的索引，正在通过 MMap 实现内存和磁盘换进换出的查问能力，可能进一步升高向量检索的内存应用。
其三，离在线一体化。这包含解决以后元信息的存储瓶颈、百亿规模超大规模的向量召回，都对整个零碎的负载平衡能力、资源应用能力提出了较高的要求。Milvus 心愿可能变成一个离在线一体化零碎。
其四，智能化。很多人都在高呼“AI for DB”，但真正将其利用在 Relational database 的概率却比拟低。因为向量数据库的一些个性，咱们较早地进行了尝试，进行动静参数调整、引入模型解决精排。例如，做一些动静的剪枝算法，依据用户的数据模型动静抉择是否帮他们做 FP16 或者 BF16 以及 SQ/PQ 等各种量化的优化。
其五，易用性。Milvus 打算在下半年将减少反对 SQL，成为寰球第一个反对 SQL 的向量数据库。同时，团队也将对接一些大模型生态如 Hugging face、OpenAI、Spark 等。此外，Milvus 与 Paddle 社区也有十分严密的单干。
其六，标量数据处理能力。标量和向量的混合查问是将来几年的趋势，这一点毋庸置疑。为此，团队也做了很多筹备，包含新一代标量的执行引擎的研发、对 Json，list/set 等更多简单数据类型提供反对。
最初，咱们通过 Zilliz Cloud 提供全托管的 SaaS 服务，这也将大大降低大家应用向量检索的老本与门槛。如果想要体验 Zilliz Cloud 的更多功能，欢送拜访 https://zilliz.com/cloud。
点击链接即可理解更多现场细节：【QCon】万物皆可向量化：Milvus 的现状与将来 – Zilliz 合伙人 栾小凡_哔哩哔哩_bilibili
