关于人工智能:如何在-Jupyter-Notebook-用一行代码启动-Milvus

39次阅读

共计 2069 个字符,预计需要花费 6 分钟才能阅读完成。

随着各种大语言模型(LLM)的涌现和 AI 技术变得越来越广泛,大家对于向量数据库的需要也变得越来越多。作为大模型的记忆体,向量数据库不仅能够帮忙解决 LLM 面临的最大问题——不足特定畛域常识和最新数据,还能够赋能相似性搜寻利用,如产品举荐、以图搜图、文本语义搜寻等。

此前,咱们为那些想要疾速体验向量数据库、没有业余运维团队撑持、装置部署环境受限的用户推出了轻量级版本的向量数据库——Milvus Lite,本文将基于此版本,为大家介绍 如何在 Jupyter Notebook 中应用向量数据库

轻量版 Milvus 能做什么?

Milvus 是一个分布式、云原生的向量数据库,可解决十亿级的向量数据,用于索引、存储和查问向量数据。
Milvus 零碎分为四个层面,采纳多种类型的执行节点(worker node),极大地加强了零碎弹性和可扩展性。除了应用多个繁多目标的节点外,Milvus 还应用分段(segment)数据以晋升索引构建的效率。Milvus 的数据分段容量为 512 MB,查问时会并行查问多个分段,以确保零碎低提早(latency)。

|Milvus 向量数据库的宏观架构

Milvus Lite 是 Milvus 的轻量级版本,领有诸多劣势,例如能够轻松将 Milvus Lite 集成到 Python 应用程序中,不须要任何其余依赖项;与 Google Colab 和 Jupyter Notebook 的集成变得更容易等,理解更多劣势参见文章《Milvus Lite 已交卷!轻量版 Milvus,主打就是一个轻便、无累赘》

因为 Milvus  Lite 和 Milvus 的工作原理雷同,且能够在本地保留所有的数据,因而,用户能够应用 Docker ComposeHelmMilvus Operator来启动 Milvus 实例。当然,也能够从 Jupyter Notebook 或 Python 脚本间接启动 Miluvs Lite 实例。

如何在 Jupyter Notebook 中应用向量数据库?

为疾速上手,大家能够通过 pip 在 Jupyter Notebook 中疾速装置向量数据库 Milvus Lite。
在 Jupyter Notebook 第一行中运行 !pip install pymilvus milvus以装置 pymilvus 和 milvus。装置实现后,应用 iPython Notebook 启动并连贯至向量数据库。milvus模块提供 Milvus Lite,pymilvus 模块提供连贯到 Milvus 的 Python 接口。

接下来能够依照以下步骤操作:

  • milvus 模块中导入default\_server
  • pymilvus 模块中导入connections
  • pymilvus 模块中导入utility
  • 应用 default\_server 中的 start() 函数来启动服务器。
  • 服务器启动后,咱们应用connections 模块中的connect 进行连贯,传入主机localhost 或127.0.0.1 以及默认服务器的端口。
from milvus import default_server  
from pymilvus import connections, utility  
  
default_server.start()  
connections.connect(host="127.0.0.1", port=default_server.listen_port)  

连贯至 Milvus 后,应用 utility 体验向量数据库。例如,调用get_server_version()  以确保数据库已更新至最新版本。或者,应用 utility 查看 Milvus 汇合(能够将其了解为数据表)。大家还能够在新建汇合时查看新汇合的名称是否已被现有汇合应用。如果已被应用,能够通过 drop_collection 删除现有汇合或者为新汇合抉择一个新名称。

utility.get_server_version()  
if utility.has_collection(COLLECTION_NAME):  
   utility.drop_collection(COLLECTION_NAME)  

还是那句话,咱们不举荐在任何生产环境中应用 Milvus Lite,也不举荐在须要高性能、高可用性或高可扩展性时的场景下应用 Milvus Lite。相同,当大家有相似需要时,咱们更举荐 Milvus 集群或 Zilliz Cloud(提供开箱即用的向量数据库服务,6 月底行将登陆阿里云) 进行部署。

最初,本文内容 同样实用于 CoLab Notebook。详情参见 以图搜图利用 文本语义搜寻利用

🌟全托管 Milvus SaaS/PaaS 行将上线,由 Zilliz 原厂打造!笼罩阿里云、百度智能云、腾讯云、金山云。目前已反对申请试用,企业用户 PoC 申请或其余商务单干请分割 business@zilliz.com。


  • 如果在应用 Milvus 或 Zilliz 产品有任何问题,可增加小助手微信“zilliz-tech”退出交换群。
  • 欢送关注微信公众号“Zilliz”,理解最新资讯。

本文由 mdnice 多平台公布

正文完
 0