关于算法:分享回顾|新岁序开2023-和Jina-AI共同码梦

42次阅读

共计 6709 个字符,预计需要花费 17 分钟才能阅读完成。

在保持凋谢合作精力、具备寰球影响力的 Jina AI 开源社区,每天都有来自世界各地的开发者来到这里,因为技术产生联结,因为联结产生共创。始终以来,咱们都为领有这样一个全球化、多元化和高速倒退的社区而感到骄傲和感谢!
就在昨晚 20 点,Jina AI 社区举办了「Nice🐰Meet You·兔年迎新面对面」流动,联结了 8 位合作伙伴,与 100 多位社区开发者、4000 多位观看直播的观众一起回顾咱们独特发明的 2022,并瞻望行将到来的 2023 年!再次感激大家的到来和反对,预祝大家兔年大吉、万事如意!!

本文将梳理汇总流动的精彩分享,供大家参考。

前“兔”无穷

Jina AI 产品生态和社区倒退 – 回顾 2022 &  瞻望 2023

Jina AI 联结创始人兼 CTO 王楠博士

在 2022 年 1 月 9 号,咱们开源了 DocArray 的第一个版本。在看到了 AI 在 NLP、CV 语音畛域突飞猛进之后,咱们置信多模态是将来十分重要的趋势。

DocArray 就是咱们针对这一趋势给出的答案,这也是咱们对于多模态 AI 的重要奉献。咱们心愿开发者在应用多模态数据的过程中能有这种技术,无感召就能够十分不便自若地去操作,去存储和解决多模态数据,迭代也十分快。去年年底咱们公布了 DocArray v0.20.1,当然这离不开社区开发者的帮忙和反馈。

2 月,咱们公布了 Jina 3。Jina 3 反对 Kubernetes 云原生环境,助力开发者搭建云原生服务。之后,Jina 陆续反对各种云原生工具——Grafana、Promise、Sales、Open Telemetry。

3 月,咱们推出了 CLIP-as-service,正是因为咱们看到了 CLIP 的弱小利用,为了应答多模态的范式改革,拥抱生成式 AI 的热潮,咱们推出了该产品。

4 月,在 DALL·E 2 公布之后,咱们基于 Jina 构建了 DALL·E Flow,DALL·E Flow 的推出引爆了 AIGC 社区。紧接着在 6 月,咱们推出了 DiscoArt,这是咱们针对生成式 AI 给出的基于 Jina 搭建多模态 AI 零碎的答案。

6 月,为了放慢神经搜寻的利用落地,咱们公布了 Fintuner 0.5。Fintuner 0.5 为开发者提供了收费的模型训练,解决了用户在理论利用中没有预训练资源的问题。同时,咱们基于 AI 生成答案的范式,公布了 DocsQA 平台,为开源软件提供收费的文档服务。

11 月,咱们正式将 DocArarry 捐献给 Linux 基金会,心愿打造一个中立、容纳和通用的规范多模态数据模型。同时也心愿更多的公司和机构退出咱们的开发过程。

总的来说,过来的一年咱们始终致力于实现 Jina AI 愿景,咱们心愿 Jina 能反对最新的 AI 范式,成为 AI 畛域的开源典范。

CLIP-as-service 负责人 王峰博士

2022 年 3 月,咱们基于 Jina 框架对 Bert-as-service 进行降级,推出了 CLIP-as-service。CLIP-as-service 是一种基于 CLIP 模型的图像和文本跨模态编码服务,目前,CLIP-as-service 能够曾经反对 30 多种 CLIP 模型,同时还反对 Pytorch、ONNX、TensorRT 推理引擎。为了不便用户搭建生产就绪服务,咱们一键式地反对在云端部署模型。

总的来说,CLIP-as-service 提供了一个 All-in-one 的开源框架,以便用户基于 CLIP-as-service 一键式地搭建云原生的推理服务。

为了验证 CLIP-as-service 的弱小性,咱们推出了在线的 GPU 推理服务,收费向用户凋谢。CLIP-as-service 在单卡的机器上,能够达到每秒解决 400 个图像或文本的推理速度。

从 CLIP-as-service 最后的 Bug 收集到当初三个月内没有呈现任何故障,能够看出,咱们基于 Jina 框架搭建的 CLIP-as-service,为开发者提供了稳固的服务。将来 CLIP-as-service 将会:

  • 反对更多 CLIP 模型,反对多种不同语言。
  • 摸索集成最新的推理减速技术。
  • 凋谢商业付费版推理服务。

Finetuner 负责人 王博

Finetuner 旨在利用起码的训练数据进行模型微调,以适应于不同的上游工作。Finetuner 0.1 – Finetuner 0.4,都是本地的开源框架,为了不便用户利用云端的计算资源进行微调,从 Finetuner 0.5 开始到 Finetuner 0.7,咱们将 Finetuner 转化成云端的微调服务。用户只须要调用 Finetuner.fit , 就能在云端申请计算资源,实现微调。

最新公布的 Finetuner 0.7 反对 3D 模型的微调,同时提供更弱小的后盾服务。Finetuner 0.7 反对 16 卡并行训练,而且咱们只须要在训练时应用 GPU,所以 Finetuner 是一种低成本、高收益的解决方案。Finetuner 0.7 还反对 Server Posting,用户不须要将数据上传到 Jina AI Cloud,只需把 Finetuner 部署到本人的生产环境中就能实现微调。

将来的 Finetuner 将会:

  • 低代码 / 无代码进行云端微调:全面反对 Jina AI Cloud。
  • 模型:更好的短文本匹配模型,更小更快的模型,反对更多语言,反对更多模态。
  • 更稳固的基础设施。更凋谢的开发体验。

社区经营负责人 Lisa

2022 年咱们目击了整个中国开发者社区的爆发式成长,也看到了越来越多的中国开发者在寰球开发者的社区上的沉闷体现。Jina AI 是一个充斥人文关心的社区,作为经营团队,咱们秉持着更加踊跃的口头和姿势。比方,为了提倡社区多元化倒退,咱们联结了十几家技术社区,在 3 月份做了 Impact Tech She Can 流动,反对技术行业女性倒退。在 1024 程序员节,咱们举办了开发者嘉年华。发展了充斥趣味性的程序员脱口秀,还积极参与了计算机学会的工程师文化会和开源社区的年度盛会。

将来,咱们心愿能和开发者有越来越多的互动,共创技术流传平台。咱们有两个最重要的社区活动——Office Hours 和 J-Tech Talk 都是一月一期。Office Hours 它让社区开发者与开发团队面对面沟通;J-Tech Talk 为社区开开发者提供分享技术的平台,也会在这里分享一些实例秀,向大家展现如何基于 Jina 搭建具体的利用。

用三个词来概括咱们在 2022 年的关键词——分享、联结、共创。期待在 2023 年,咱们可能联结大家发明更多的不一样!

设计负责人 Kelly

咱们设计的初衷是,心愿可能通过一些乏味的、新鲜的、亮眼的设计,将咱们的开源文化流传进来,让越来越多的人地关注到 Jina AI。在咱们的设计元素中,齿轮代表 Executor,巧克力块代表 Document,小火箭就是 Flow。这三个因素组合在一起就会产生很乏味的化学反应。就像 Jina AI 的产品一样,咱们的设计心愿通过将这三个根本元素组合起来,联合一些亮点,在每个节日中将节日气氛传送给大家。咱们心愿这些乏味的设计可能传播一种理念:其实开源技术并不是遥不可及,它也能够很乏味。

2023 年,咱们会继续更新周边产品,持续为三个元素变装,让它们走到每一位用户的生存中。每个月月底,咱们都会公布下个月的手机壁纸以及桌面,大家能够在咱们的公众号后盾留言获取壁纸桌面。将来,咱们心愿做一些宠物的周边,让咱们的社区开发者把咱们的周边产品用在生活中,而不是只是作为一个摆件。

📢 如果你还没有 1 月的壁纸,快来 Jina AI 后盾留言!回复“1 月”获取高清壁纸吧~

“兔”飞猛进

社区合作伙伴茶话会 – 感恩过往,砥砺前行

过来一年咱们很开心跟 20 多家社区产生了联结单干,期待新一年能够持续搞事件!在本次流动中,咱们邀请到了其中比拟具备代表性的四家社区主理人跟大家一起聊聊。

开源社 @李小明

很快乐收到 Jina AI 的邀请来加入这个会议。先给大家介绍一下开源社。咱们成立于 2014 年,是由意愿于开源事业的集体成员所组成的,目前参照阿帕奇的国内顶级开源基金会的治理模式,曾经连贯了数万名的开源人,汇集了上千名的社区成员和志愿者。

跟 Jina AI 在过来的一年里单干了十分多的流动,其中令我印象特地粗浅的大略有两个:一个是「Z 世代程序员脱口秀」,过后邀请了一批 00 后 – 90 后年老的开发者同学跟社区成员做分享,让咱们看到了年轻人的力量;第二个是「Hello World, Hello Kitty」,邀请了一批程序员带着本人的猫猫进行线上聊天。

我感觉这些流动举办得都十分棒,尤其是对咱们的开发者社区来讲,感觉 Jina AI 更关注咱们社区成员集体的一种情绪上的价值,在集体情感联结上做得还是十分不错的。

LadiesWhoTech@Betty

我先来介绍下 LadiesWhoTech,咱们自身是一个提倡性别多元化和包容性的社区,在这里咱们欢送所有性别和职业的小伙伴退出。不只是业余的女性科技从业者,咱们心愿激励更多的女性能够参加到整个 STEAM 行业当中来,给大家提供独立成长的平台。

尽管大家都认为 2022 年是很魔幻的一年,然而咱们也很开心能够在每一个季度都能够跟 Jina AI 携手去共创不同的线上的流动内容。略微有点遗憾的是没能在线下跟 Jina AI 共创出更多的火花,但咱们期待 2023 年大家能够齐心合力,一起“兔”飞猛进,在线下能够做更多的互动,跟更多的人产生联结。

开源江湖 @阿萌

大家好,我是阿萌(又是相熟的收场)我为什么要做“开源江湖”呢?是因为我感觉真正的开源文化并不只是你来写代码,我给你奖品这样简略的激励驱动。我心愿通过“开源江湖”,大家能够去理解更多开源的常识。开源的这种合作形式是基于你对某种企业的愿景,或者对某种技术倒退的方向、某个开源我的项目感兴趣,你退出到其中,通过本人的一些奉献(不仅是代码奉献,可能是做一些文档或者布道)都能够参加到开源我的项目中来。Jina AI 做的携带宠物的线上流动,跟我平时认知的其余开源社区不太一样。在 2023 年咱们会单干一个《开源档案》,当初视频和脚本曾经实现了,咱们预计会在春节后公布,大家能够关注!

Datawhale@苏鹏
首先简略介绍一下 Datawhale,咱们成立于 2018 年,次要是一些高校的老师、学生、退职的小伙伴们自发创立的开源组织,咱们心愿构建一个 AI 畛域的开源学习型社区,可能帮忙学习者们一起成长。基于这样的理念,咱们在去年和 Jina AI 一起单干,打造了一个多模态、跨模态实际的课程,通过课程咱们也帮忙了大略有 200 位学生和退职群体,让他们理解到了 Jina AI,帮忙他们在学习和工作过程中领有更大的竞争劣势。最初祝福 Jina AI 的小伙伴们新年快乐,兔年大吉!

大展鸿“兔”

社区明星成员们大展风采 – 分享乏味产品和离奇想法

YAHAHA@王博闻

YAHAHA 是一个低代码的游戏编辑器,咱们是心愿可能帮忙创作者打造属于他们本人的一个游戏、世界或者社交空间;心愿咱们用户可能通过以简略的、无代码的形式去打造他们本人个性化的一些游戏。咱们发现 Jina AI 能够通过一些 Neural Search 的形式帮忙咱们用户有更多的搜寻的形式(多模态搜寻),不仅是传统的、以文字去搜模型,更能够通过图片、文字甚至是以模型去搜模型,这样十分不便。

OpenArt@平任

OpenArt 是一家 AIGC 畛域的守业公司,我在工作中不得不从之前是一个单纯的前端工程师,变成了一个理解对 AI 有所理解的前后端或者全站工程师。在两个月之前,我须要在咱们的后端服务上实现一个可能反对千万量级的图片搜寻性能其中我感觉特地对我有帮忙的一个开源我的项目就是 Jina AI 的 CLIP-as-service,它作为开箱即用的服务,大大减少了我在我的这种开发的工作量,还有须要思考的技术细节。

Thoughtworks@刘子健

Thoughtworks 是一家数字化征询公司,咱们致力于给客户提供最高品质的服务。在咱们跟客户的有一次流动中,我发现客户可能会有一个基于多模态的神经搜寻的需要。产生这个想法之后,我在去年夏天理解到了 Jina AI 的 DocArray,从开始看文档到写代码,再到开始测试和进行简略地部署,一天左右就做完了,其中也用到了 CLIP-as-service,这是一个十分好用的即插即用的工具。我能显著地感觉进去,Jina 在产品的打磨上以及文档的编写上十分用心,让没有很深的机器学习根底的开发者也可能很快上手。

此外,咱们还邀请到大家所相熟的社区明星们分享在 Jina 社区的感触:

Q:退出 Jina 社区之后,对开源、多模态有什么新的了解和认知?

李洪昌

去年很荣幸代表 Jina AI 加入了在上海举办的一个数字化转型的会议,接触到了很多开发者,感触到开发者对于 Jina AI 的极大的趣味和对多模态 AI 的关注。总体来说,通过跟 Jina AI 继续的理解,也感觉到 Jina AI 技术团队很有生机,心愿在后续的过程中也是能以社区的一分子助力国内的 Jina AI 开源力量一直壮大。

Q:在和寰球社区开发者的交换中,有哪些印象粗浅的事件?

Orange

我是在 B 站上 Koala 老师的视频理解到 Jina AI 的,起初退出到 slack 社区,发现不论你什么时候发问,总会有人疾速地响应我,真的是 7 *24h 的团队!这也是因为 Jina AI 的工程师团队以及海内社区十分全球化,这一点十分棒,印象十分粗浅。

Q:大开脑洞,你感觉 Jina 还能有哪些更多的应用场景?

叶坚白

从我本人的钻研的角度而言,我其实感觉 Jina 有个特地好的应用场景,是对于模型部署和线上推理的自动化。最近这一两年在学界外面有个特地火的一个方向叫做深度学习的主动并行化。其实我有想到像之前王博老师介绍的 CLIP-as-service,也是能够通过 Jina 很快地去进行一个 CLIP 模型微服务的开发。其实我在想对于反对模型服务有没有可能做到一种自动化,让像咱们这样的算法工程师或者钻研人员,只须要依照他们失常的流程去开发一个深度学习的模型,让就能够通过 Jina 对他们钻研的模型进行捕获。通过一些比方像网络层的一些包装,或者像负载平衡的一些事件,能够把他们的模型疾速地去部署成一个 service。

刘畅

我也是基于本人的一些过往的科研经验,我的想法是从 demo 或者从咱们能够构建哪些利用的方面来思考的。因为我集体是钻研 3D、三维重建的,所以我感觉其实在利用方面也能够思考一些基于人体的 3D 利用,比方能够利用一些深度学习的模型进行面部或者人体的三维重建,而且也能够跟用户进行交互,在重建之后能够让用户通过一些简略的操作,让他来编辑人脸的面部表情,让他尽可能实在。我集体感觉这个场景或者在元宇宙或者是 VR 之类的一些畛域可能都能够失去利用。崔腾松我感觉多模态能够思考在视频的智能生产外面,能够从视频、音频、弹幕里边能够抽取到多模态信息,从外面抽取到一些看点或者标签,把一些镜头或者片段造成一些咱们的素材。依据素材,进行进一步的加工以及前期的一些视频的剪辑合成。还有一个性能就能够咱们从一个大视频外面去关注某一个细节,比方我只想看他,或者只想找真人或者卡通人物,咱们能够通过视频帧或者人脸帧图像量级检索它。还有在电商平台的利用,比方电商平台的智能客服,咱们能够给客服发送图片或者视频的形式,让客服可能从这些不同的模态外面而区别以往的文字,它能进一步地可能辨认这些其余模态的数据,进行主动地应答。在传感器方面的利用,我感觉包含一些智能空调,咱们能够退出到退出一些语音交互、视觉辨认的一些指令,通过屋内的人数以及地位因素来更精准地调控空调的温度。还有比方在智能汽车畛域,能够给它加上一些摄像头,辨认驾驶者的表情动作,看他是否疲劳驾驶。再比方智慧屏幕,实时地追踪人脸,谁在讲话就切到谁。

全新“兔”破

2023 Jina AI 社区全新我的项目颁布

JCAP 是一个社区和开发者独特成长的我的项目,咱们心愿大家能够施展本人的劣势,在深刻参加开源社区中失去成长并倒退本人的影响力。

如果你善于社交,那么你能够报名成为城市英雄和校园大使,组织各地的社区成员线下交换;
如果你善于分享,那么你能够报名成为布道师,利用本人的影响力推广开源我的项目;
如果你善于技术写作,那么你能够输入高质量的技术博客。

咱们将会给到大家 Jina AI 工程师的导师资源、限定款专属周边以及参加 Jina AI 主办的各项流动的优先参加名额。往年咱们也将举办黑客马拉松,让大家有机会展现本人的技能和创造力。在这次黑客马拉松将会有来自寰球各地的优良工程师参加比赛,让大家有机会学习新常识,与寰球社区成员交流经验,并有机会取得丰富的处分。如果大家感兴趣的话,还能够扫描下方二维码进行报名!

获奖用户名单

昨晚的多轮互动有超多小伙伴激情参加,祝贺以下同学取得超可恶的兔团团礼盒!

正文完
 0