关于github:CLIPasservice-080-版本发布新增支持大型-ONNX-模型文件

34次阅读

共计 1341 个字符,预计需要花费 4 分钟才能阅读完成。

​ 

CLIP-as-service 是一种用于编码图像和文本的低提早、高可扩展性服务。它能够作为微服务轻松集成到神经搜寻解决方案中。

💡 CLIP-as-service 0.8.0 现已正式公布!

本次更新蕴含 3 个新增性能、1 个性能改良、1 个文档改良。

🆕 新性能

新增反对大型 ONNX 模型文件 (#828)

单个 ONNX 模型文件有 2GB 大小的限度,更大的 ONNX 模型将被拆分成许多的文件碎片保留。此版本反对导入蕴含大型 ONNX 模型碎片的文件夹压缩成的 zip 格式文件。咱们当初能够提供所有 CLIP 模型在 ONNX 运行时的服务。

新增反对在 laion-2b 上训练的 ViT-B-32、ViT-L-14、ViT-H-14 和 ViT-g-14 的模型 (#825)

用户当初能够应用在 Laion-2B 数据集上训练的 OpenCLIP 提供的四个新 CLIP 模型:


ViT-B-32::laion2b-s34b-b79k


ViT-L-14::laion2b-s32b-b82k


ViT-H-14::laion2b-s32b-b79k


ViT-g-14::laion2b-s12b-b42k




ViT-H-14 模型在 ImageNet 上实现了 78.0% 的零样本 top-1 准确率,在 MS COCO 上的 [email protected] 上实现了 73.4% 的零样本图像检索。这是目前体现最好的开源 CLIP 模型。要应用新模型,只需在 Flow YAML 中指定模型名称,例如 ViT-H-14::laion2b-s32b-b79k

请参阅模型反对 [1],以查看受反对模型的残缺列表。

clip_client 将后果保留在原输出对象,并按 uuid 放弃输入程序 (#815)

在此版本中,clip_client 将获取的 embedding 后果间接存储在输出的 DocumentArray 中,而不是返回一个新的 DocumentArray。与此同时,当初调用 Client.encode 返回的 DocumentArray 内条目标程序与输出的 DocumentArray 的程序雷同。

留神:如果您之前的代码依赖于 Client.encode 返回一个新 DocumentArray 实例,此处扭转可能会影响您的上游工作。您能够运行以下代码来验证原输出的 DocumentArray 是否蕴含 embeddings 并且保留了原始程序。

📗 文档改良

零样本分类和检索工作的 CLIP 基准测试 (#832)

咱们当初为零样本分类和检索工作的 CLIP 模型提供基准信息。此信息应有助于用户为其特定用例抉择最佳 CLIP 模型。无关更多详细信息,请浏览 CLIP-as-service 用户指南中的基准页面 [2]。

🚀 性能晋升

进行回传图像内容以升高提早 (#824)

调用 Client.encode 不再返回带有 embedding 的输出图像。因为 embedding 当初已插入到原始 DocumentArray 实例中,无需多此一举。因而,优化后当初的零碎更快、响应更快。性能晋升取决于图像大小和网络带宽。

援用链接

[1] 模型反对: https://clip-as-service.jina….

[2] Benchmark: https://clip-as-service.jina….

正文完
 0