关于人工智能:Hugging-News-0918-Hub-加入分类整理功能科普文本生成中的流式传输

4次阅读

共计 1244 个字符,预计需要花费 4 分钟才能阅读完成。

每一周,咱们的共事都会向社区的成员们公布一些对于 Hugging Face 相干的更新,包含咱们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,咱们将其称之为「Hugging News」。本期 Hugging News 有哪些乏味的音讯,快来看看吧!🎉😍

🤗Hub 退出分类整理 (Collection) 性能

当初你能够把任何你喜爱的模型 / 数据集 / Space 利用等依照本人的爱好进行分类整理和珍藏。这个性能不仅对集体账号凋谢,同时对 Hub 上的组织账号也同样凋谢,Collection 会显示在集体或者组织的材料页面上,快去试试看吧!

查看文档: https://hf.co/docs/hub/collections

模型显存计算器

模型显存计算器 (Model Memory Calculator) 工具,旨在帮忙大家计算在 🤗 Hub 上训练或运行大型模型所需的 vRAM(显存)。这个工具能在百分之几的误差内估算模型的显存需要。

最小举荐的 vRAM 是模型“最大层”的大小,而训练一个模型大概须要其大小的 4 倍显存 (思考到 Adam 优化器)。在进行模型推理 (inference) 时,可能还需额定减少最多 20% 的显存。这个工具反对所有应用 transformers 和 timm 库的模型。应用时只需输出模型的 URL 或名字,抉择其起源框架,以及你想应用的精度即可。
即刻体验: https://hf-accelerate-model-memory-usage.hf.space/

摸索生物和化学方面的基座模型

咱们一位共事 Katie 正在收集生物和化学畛域的基座模型的列表,咱们看到绝大多数都是开源并且凋谢权重的。

你能够在这里查看到这些模型的列表:
https://hf.co/spaces/hf4h/bio-chem-foundation-models

为什么要在文本生成中抉择应用流式传输?

流式传输是服务器一一返回模型生成的标记 (tokens) 的模式,这有助于用户逐渐查看生成过程,而不用期待整个生成实现。这对于进步终端用户体验至关重要,因为它缩小了提早,这是晦涩体验的关键因素之一。

应用流式传输,服务器能够在生成残缺响应之前一一返回标记,使用户可能更早地理解生成品质。这有一些踊跃的影响:对于十分长的查问,用户能够更早地取得后果。在生成过程中察看停顿容许用户在生成不合乎他们冀望的方向时进行生成。在晚期展现后果时,感知的提早较低。在会话界面中应用时,体验感觉更加天然。

咱们公布了一个文档,介绍了如何在 Python、cURL 和 JavaScript 中实现流式传输,以及流式传输的工作原理,其中应用了 Server-Sent Events(SSE)来建设 HTTP 连贯并实现数据的单向传输。通过指定最大并发申请数,还能够治理服务器的负载。

查看文档: https://hf.co/docs/text-generation-inference/conceptual/streaming


以上就是本期的 Hugging News,新的一周开始了,咱们一起加油!💪🎉

正文完
 0