乐趣区

关于数据库:Deep-dive-2API-与-Python-SDKs-详解

jiezi

作者：杨璇

编者按：

API 是什么？Python SDKs 又是什么？相熟 Milvus 数据库的敌人们应该会立即联想到 Milvus protocol API 和 PyMilvus。本期内容能帮忙你以一个全新的视角对待 Milvus 和 Milvus 开源社区。

讲师简介：

杨璇，pymilvus-admin 和 Milvus contributor，负责保护 PyMilvus 我的项目以及研发 Milvus 的 DataNode 模块。开源社区的狂热粉丝，积极参与各种开源流动，是 GDG 上海外围志愿者成员。武汉大学软件工程硕士，在 Zilliz 除了负责软件开发工程师，还是一个让部门所有人弃 vscode 转 vim 的 vim 小学生。

分享纲要：

  1. PyMilvus 和 Milvus protocol API 背景介绍
  2. protocol API 应用办法
  3. PyMilvus 代码深刻
  4. PyMilvus 倒退指标和打算

背景介绍

让咱们把 Milvus 当作一个黑盒子。上面这张图代表了 SDKs 通过 gRPC 与 Milvus 交互的过程，gRPC 应用的是 Protocol buffers 作为接口定义语言来形容服务端的接口，以及它们传递音讯的信息结构。Protocol buffers 的语言文件通常以 proto 作为结尾。所以，Milvus 这个黑盒子的所有行为实际上都是在 protocol API 外面进行定义。

PyMilvus protocol API 的具体内容别离为：

  1. milvus.proto
  2. common.proto
  3. schema.proto

如果 SDKs 想要失常工作，都须要应用这三个 proto 文件与 Milvus 进行交互。本次分享的 Milvus API 便是对这三个文件进行初步解读。

感兴趣的小伙伴能够查阅 Milvus 2.0 SDK roadmap：https://milvus.io/docs/v2.0.0…

同时，PyMilvus 2.0 版本引入了一套全新的接口——object relational mapping（ORM），它与之前版本的接口十分不同，明天，咱们也会聊一聊 ORM 接口的特点以及 PyMilvus 接下来的倒退门路。

Milvus protocol API

milvus.proto

Milvus protocol API 中最次要的是 milvus.proto，它定义了 MilvusService，而 MilvusService 持续定义了 Milvus 所有的 RPC 接口。因而，在与 Milvus 进行交互的过程中，这里须要重点留神。

下图中的 RPC 接口参数为 CreatePartitionRequest，两个主要参数为 string 类型的 collection_name 与 partition_name，基于这几点就能够创立 collection partition。

这个 protocol 到底长什么样子？进入到 PyMilvus 的仓库（https://github.com/milvus-io/…）中，能够在第 19 行找到上方提到的例子：

咱们能够在该文件中找到 CreatePartitionRequest 的定义：

如果大家须要开发新性能，或者开发新 SDK，PyMilvus 仓库能够帮忙你查找 Milvus 通过 RPC 对外提供的接口。

common.proto

顾名思义，common.proto 局部是一些 common 的类型。这部分的构造包含了罕用的 ErrorCode 和 S`tatus` 等：

Schema.proto

在传参数的时候，须要的 schema 都在这个局部进行定义。C`ollectionSchema` 的示例如下：

上述三个 proto 组合在一起，独特形成了 Milvus 对外的 API，能够在其中找到所有 Milvus 对外的行为。

你能够浏览源码，察看 create_index() 发现，像 create_index 这样的对外接口，实际上调用了 describe_collection、describe_index 等多个 RPC 接口。总结起来，Milvus 中很多对外接口实际上是由多个 RPC 接口组合而成的性能。

所以，当你了解了这些 RPC 的行为后，就能够在 SDK 层面通过组合发明新的性能。欢送大家在这个局部施展本人的创造力和想象力，为 Milvus 社区添砖加瓦！

PyMilvus 2.0

Object-relational mapping（ORM）

ORM 用一句话简略表述便是：对本地对象操作会影响服务端点一个对象。PyMilvus 的 ORM 接口有以下三个特点：

  1. Operate directly on objects. 间接作用于对象。
  2. Isolate business logic and data access details. 隔离业务逻辑和数据拜访详细信息。
  3. Hide the implementation complexity, same codes everywhere. 暗藏实现的简单，一套代码能够到处跑。

第三点对于 Milvus 而言，无论是作为 DBS，还是本地的 library，亦或者是 cloud service，无论两头实现的过程是 RPC 还是 python，只有应用 ORM 格调的代码，那么这些代码无需扭转就能够实用多种 Milvus server 的状态。这就是 ORM 形象进去的益处。

ORM style API

ORM 格调的 API 最大的特点，便是能够管制对 Milvus 的连贯。例如，能够增加多个 Milvus server 别名，抉择应用别名去连贯或敞开其中的一台服务。也能够通过删除本地的 server address，准确管制哪一些对象应用的是哪一台机器、哪一个连贯。

第二个特点是，所有的操作都是间接面向对象进行的操作，对象包含 collection、partition 和 index。当三个对象被形象进去后，所有对他们的操作都能够间接在对象上进行。

例如，咱们想要提取一个 collection 对象，无论这个 collection 是新创建的，还是 Milvus server 外面曾经存在的，都能够通过 collection 这个接口去创立一个对象进去。还能够给对象绑定 connection，将 films 这个对象用 DEV 别名指代 Milvus server，films 在本地会有一些状态，咱们能够对这个对象间接进行各种操作。

如果想要构建一个 partition 对象的话，有两种办法。这里只提供了一种：咱们能够通过 films 这个 collection 对象去创立一个 partition，拿到了这个 adventure 之后，partition 也会有本人的一些 states。咱们能够像对 collection 一样对 partition 进行同样的操作。这里还有一个对象 Index。和 partition 相似，咱们也能够通过这个 collection 对象 films 去创立一个 index，进行后续的操作。

除了创立新的 addition 和新的 index 这些办法，如果 films 这个 collection 外面曾经存在了 partition 或者是 index 的话，也能够通过 films 这个 collection 对象去提取。

更多帮忙

举荐大家通过 PyMilvus 文档，真正并深刻理解应用办法。PyMilvus 文档由两局部组成，第一局部是在 API doc-strings 外面主动生成的，第二局部就是由 PyMilvus contributors 撰写的、基于用户应用的角度文档，十分实用。

大家能够在这里查看咱们所有的文档：https://milvus.io/docs

PyMilvus 的文档源代码查看地址：pymilvus/docs at master · milvus-io/pymilvus

退出移动版