共计 2227 个字符，预计需要花费 6 分钟才能阅读完成。
Weaviate 作为 DocArray 中的 Document Store，能够使得 Document 在云端的解决和检索更加迅速。
DocArray & Weaviate 大起底
DocArray: Data structure for unstructured data
DocArray 是一种可扩大数据结构，完满适配深度学习工作， 次要用于嵌套及非结构化数据的传输， 反对的数据类型包含文本、图像、音频、视频、3D mesh 等。
与其余数据结构相比：
✅ 示意齐全反对，✔ 示意局部反对，❌ 示意不反对
利用 DocArray，深度学习工程师能够借助 Pythonic API， 无效地解决、嵌入、搜寻、举荐、存储和传输数据。
Weaviate：开源的向量搜索引擎
Weaviate 是一个开源的向量搜索引擎，能够同时存储对象和向量， 将向量搜寻和结构化过滤 (structured filtering) 相结合， 从而创立一个持重、故障答应 (fault-tolerant) 的搜索引擎。
同时，Weaviate 还提供开箱即用的云存储基础设施 –Weaviate 集群服务 (Weaviate Cluster Service)。
Jina + Weaviate=？
💥 Jina + Weaviate，能碰撞出怎么的火花？
通过 Weaviate 创立云存储实例的办法包含两种：
- 本地启动 Weaviate 实例
- 创立 Weaviate 云服务实例
1、本地启动 Weaviate 实例
想要在后端应用 Weaviate 存储服务，须要启动一个全新的 Weaviate 实例。能够通过创立 docker-compose.yml 实现，具体如下：
---
version: '3.4'
services:
weaviate:
command:
- --host
- 0.0.0.0
- --port
- '8080'
- --scheme
- http
image: semitechnologies/weaviate:1.11.0
ports:
- "8080:8080"
restart: on-failure:0
environment:
QUERY_DEFAULTS_LIMIT: 25
AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true'
PERSISTENCE_DATA_PATH: '/var/lib/weaviate'
DEFAULT_VECTORIZER_MODULE: 'none'
ENABLE_MODULES: ''CLUSTER_HOSTNAME:'node1'
... 创立胜利后，就能够运行 docker compose 启动实例。
2、创立 Weaviate 云服务实例
你能够借助 Weaviate 云服务 (Weaviate Cloud Service) 收费创立 Weaviate 实例。
注册并创立新实例请拜访 Here。
观看本视频，手把手教你创立 Weaviate 实例。
入门级教程演示
学习本教程，你将理解：
- 创立 Weaviate 本地实例，存储 Document
- 创立一个简略的文本搜寻零碎
1、启动 Weaviate 服务，并创立一个 DocumentArray 数组实例
from docarray import DocumentArray
da = DocumentArray(storage="weaviate", config={"name": "Persisted", "host": "localhost", "port": 8080}
)2、索引 Documents
da.extend(
[Document(text="Persist Documents with Weaviate."),
Document(text="And enjoy fast nearest neighbor search."),
Document(text="All while using DocArray API."),
]
)3、用 BERT 模型生成向量
from transformers import AutoModel, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModel.from_pretrained("bert-base-uncased")
def collate_fn(da):
return tokenizer(da.texts, return_tensors="pt", truncation=True, padding=True)
da.embed(model, collate_fn=collate_fn)4、查问索引 Documents 并失去后果
results = da.find(DocumentArray([Document(text="How to persist Documents")]).embed(model, collate_fn=collate_fn),
limit=1,
)
print(results[0].text)Output:Persist Documents with Weaviate.
两大神器打造 H &M 以图搜图零碎
整合 DocArray 和 Weaviate，能够更轻松地搭建一个以图搜图的零碎。
GitHub Repo 详见：Here
DocArray 与向量数据库 Qdrant，又能擦出怎么的火花？关注咱们，答案下期揭晓！
相干链接：
GitHub Repo
DocArray Documentation
Jina’s Learning Bootcamp
Weaviate’s Documentation