共计 2034 个字符,预计需要花费 6 分钟才能阅读完成。
咱们每天都在接触举荐零碎,短视频、电商、外卖、上演、广告……
明天,咱们将演示 Jina AI 社区用户 Achintya 的我的项目, 他用 Jina 搭建了一个电影举荐零碎。
电影举荐零碎原理概览
在这个 Demo 中,作者将电影举荐转换成了文本搜寻问题。
零碎将用户输出作为文本 query,并在数据库中搜寻与查找相似电影。
注:开始前须要向模型提供电影的名称、形容和类型等字段。
技术栈: Jina,Rest API,Dart
数据库: IMDB 电影数据集
电影举荐零碎架构图
具体过程如下:
1、从 Kaggle 下载 IMDB 电影数据集。
2、将数据增加至 DocumentArray 中,以便进一步预处理和索引。
3、将 DocumentArray 发送至 Flow,用 Jina Hub 上的 Executor 对数据进行索引。
4、搜寻 Flow 将对输出查问进行编码,并在索引数据中搜寻最匹配的选项。
5、找到最佳匹配后,发送 Rest API 作为输入数据(该 API 实用于各种前端框架)。
代码演示:3 个关键步骤打造电影举荐零碎
本 Demo 的外围步骤包含:构建 Flow、索引以及和搜寻性能。
1、创立 Flow
这里会用到两个 Executor:SimpleIndexer 及 TransformerTorchEncoder
from jina import Flow
flow = (Flow(port_expose='12345', protocol='http').add(
uses="jinahub://TransformerTorchEncoder",
uses_with={
"pretrained_model_name_or_path":
"sentence-transformers/paraphrase-distilroberta-base-v1"
},
name="encoder",
install_requirements=True
)
.add(
uses="jinahub://SimpleIndexer/latest",
uses_metas={"workspace": "workspace"},
volumes="./workspace:/workspace/workspace",
name="indexer"
)
)
2、创立 Index 函数
Index 函数获取文本格式的图像数据集,并将其转换为 Jina 原生的 DocumentArray,发送至 Flow 进行索引和搜寻。
with flow as f:
f.post(on="/index", inputs=movies, show_progress=True)
f.post(on="/", show_progress=True)
f.cors = True
f.block()
3、创立搜寻函数
搜寻函数接管文本输出,并收回 HTTP post 申请,从 Jina 后端获取相似的电影片名。
import 'dart:convert';
import 'package:http/http.dart';
makePostRequest() async {final uri = Uri.parse('http://192.168.1.9:12345/search');
final headers = {'Content-Type': 'application/json'};
var final_data = [];
Map<String, dynamic> body = {
"data": [{"text": "comedy"}
],
"parameters": {"limit": 10}
};
String jsonBody = json.encode(body);
final encoding = Encoding.getByName('utf-8');
Response response = await post(
uri,
headers: headers,
body: jsonBody,
encoding: encoding,
);
int statusCode = response.statusCode;
String responseBody = response.body;
print(statusCode);
var convertedData = jsonDecode(responseBody);
final_data = convertedData['data'][0]['matches'];
for (var item in final_data) {print(item['tags']['Title']);
}
}
void main(List<String> arguments) {print("Starting");
makePostRequest();}
以上就是用 Jina 创立电影举荐零碎的全副过程,残缺代码请拜访 GitHub Repo
电影举荐零碎的成果展现
对于作者 Achintya:
Jina AI 社区成员,计算机科学业余大二学生,专一于机器学习及利用开发。
本文波及的学习材料
Learning Bootcamp
DocArray 文档
Jina 文档
退出社区
浏览原 blog