向量数据库的新趋势未然开始浮现！
2023 年初，我曾预测过往年向量数据库倒退的八大趋势《向量数据库的下一站，2023 的 8 个预测》，其中提到：向量数据库会呈现分叉和分层，离线与在线将共存，单机与分布式向量数据库将一起倒退。现在，这些趋势日渐清朗，轻量级向量数据库如 Chroma 的推出，传统数据库转型为向量数据库的例子如 PGVector，以及 Snowflake 收买 Neeva 进军非结构化数据畛域等，都在实践中验证了我的预测。
更令人激动的是，随着 ChatGPT 席卷而来的大语言模型 AIGC 浪潮，越来越多的预言正逐渐变为事实。咱们见证了向量数据库与传统数据库的交融，目击了新版 Zilliz Cloud Serverless 向量数据库的诞生，也看到了过来一年中向量数据库开发者对推动性能和老本优化的致力。
AIGC 的暴发推动了向量检索的倒退，天然也带来了大量的新需要。向量数据库的用户群体不再局限于算法工程师，还扩大到利用开发者和后端工程师。这种变动既促成了向量数据库的迭代，也挑战着咱们对向量数据库的现有认知，鞭策咱们更加深刻地开掘用户需要。
在过来六个月的工夫里，我粗浅地领会到产品的倒退离不开用户需要驱动的真谛。作为产品的设计者和开发者，必须始终以用户为核心，踊跃聆听他们的需要，并集中精力升高软件开发的全链路老本，而非适度谋求极致性能或过分炫技。在这种背景下，升高开发者的综合应用老本已成为 Zilliz Cloud 和开发团队过来的次要使命。
01. 咱们为什么须要 Zilliz Cloud？
2022 年底，Zilliz Cloud 1.0 在 AWS 上线。2023 年 6 月，升级版 Zilliz Cloud 在 AWS 和 GCP 上线。这期间我始终在思考一个关键问题，即【如何精确传播根底软件的产品价值】。
在传统的深度学习流程中，人们通常会适度强调数据和模型的价值，往往漠视了基础设施包含存储在整个业务流程中的重要作用。2023 年随着大模型的呈现，利用开发范式产生了巨大变化，模型的泛化能力大幅加强，AI 利用的开发门槛大幅升高。在此背景下，从业者必须从新扫视和评估向量数据库的价值。如何让用户用得起、用得爽、用得释怀成为咱们首要的关注点。
在我看来，云服务和基础设施应该将思考的重点放在如何升高 AI 利用开发者的全生命周期利用老本下面，这不仅仅是单纯的向量检索速度和存储老本的问题，更多的是帮忙用户专一于他们本身的业务逻辑，更疾速地进行版本开发和迭代，升高用户保护的心智老本。这就要求咱们进步基础设施层的抽象层次，升高对开发者底层常识理解水平的需要。
对于用户来说：
- 动静 Schema 比固定 Schema 更具劣势，因为它为用户提供了更大的灵活性和自由度。
- Serverless 优于容量布局，因为它可能依据用户的需要主动调整资源，从而使用户无需放心底层资源的治理。
- 原生分布式比分库分表更具劣势，因为这大大减少了用户的运维操作。
- 主动优化优于 Knob Tuning，因为它能够帮忙用户主动抉择最优的执行策略，无需用户进行繁琐的参数调整。
如果说 Milvus 2.0 的诞生初心是做寰球当先的向量数据库，是咱们借助开源力量对 AI 普惠的一次尝试，那么 Zilliz Cloud 的诞生初心则是做开箱即用的向量检索云服务。Zilliz Cloud 是咱们本身对于 AI 普惠的再次摸索，向量数据库云服务 + 大模型将构建 AI 的老本大幅升高，使得非互联网传统企业和守业公司具备了构建基于 AI 翻新的利用成为可能。
目前，更新版的 Zilliz Cloud 反对了动静 Schema、OpenAPI、多租户 Parititon key 等能力，大大降低开发的老本。同时，在硬件老本和保护老本方面咱们也进行了优化，具体内容可参考后续文章。
02.Zilliz Cloud 的将来布局
尽管向量数据库及其托管服务还处于孵化初期，但我深信每一款博得开发者认可的向量数据库都必然领有独特的价值。Zilliz Cloud 自诞生之日起，就动摇地以进步开发者的开发效率为己任，帮忙用户深挖非结构化数据中蕴藏的微小后劲。咱们激励并欢送任何新的想法和倡议，期待与大家独特摸索向量检索的下一步。
以下，我想列举一些在 Zilliz Cloud 将来可能出现的新性能：
- 专门针对非结构化数据处理的流程管线（Pipeline）：不仅蕴含文档加强，问答机器人等根本能力，也将包含更加丰盛的多模态数据处理能力，进一步赋能非结构化数据处理利用。
- 提供更为简单的聚合函数反对：包含但不限于 Count、Min、Max 以及 GroupBy 等，为数据分析提供更为宽泛且深刻的能力。
- 推出下一代标量查问引擎和向量检索引擎，性能老本晋升至现有引擎的 3 倍。
- 反对浓密向量和稠密向量混合打分模式，并反对粗排精排，进一步加强召回成果。
- 实现依据存储容量主动扩缩容：进步向量数据库的弹性，适应业务量的变动，进一步升高用户的保护心智。
- 提供更加丰盛的数据服务能力，包含从开源的 ES、MongoDB 进行数据迁徙，增量数据订阅，主备容灾，以满足各种不同的数据处理需要。
- 进一步扩充服务范畴，咱们将在日本，新加坡，欧洲等地区增设更多可用区：咱们期待能为寰球更多用户提供优质的服务。
以上就是我作为开发者和设计者对 Zilliz Cloud 的一些思考，当然，如果大家有其余的性能需要也可退出咱们的用户交换群进行反馈。
最初预报一下，近日咱们行将在国内上线 Zilliz Cloud 云服务，届时将反对阿里云、百度智能云、金山云、腾讯云。目前咱们已反对申请试用，企业用户 PoC 申请或其余商务单干请分割 business@zilliz.com。
- 如果在应用 Milvus 或 Zilliz 产品有任何问题，可增加小助手微信“zilliz-tech”退出交换群。
- 欢送关注微信公众号“Zilliz”，理解最新资讯。
本文由 mdnice 多平台公布