每一周,咱们的共事都会向社区的成员们公布一些对于 Hugging Face 相干的更新,包含咱们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,咱们将其称之为「Hugging News」,本期 Hugging News 有哪些乏味的音讯,快来看看吧!
重磅更新
Transformers Agents 公布,通过自然语言管制超过十多万个 HF 模型!
近期,咱们公布了一个十分“大胆”的新个性: Transformers Agents,并退出到了 🤗Transformers 4.29 之后的版本中。它在 Transformers 的根底上提供了一个自然语言 API,来“让 Transformers 能够做任何事件”。这其中有两个概念:一个是 Agent (代理),另一个是 Tools (工具),咱们定义了一系列默认的工具,让代理去了解自然语言并应用这些工具:
https://hf.co/docs/transformers/transformers_agents
代理这里指的是大语言模型 (LLM),你能够抉择应用 OpenAI 的模型 (须要提供密钥),或者开源的 StarCoder 和 OpenAssistant 的模型,咱们会提醒让代理去拜访一组特定的工具。
工具指的是一个个繁多的性能,咱们定义了一系列工具,而后应用这些工具的形容来提醒代理,并展现它将如何利用工具来执行查问中申请的内容。
咱们在 transformers 中集成的工具包含:文档问答、文本问答、图片配文、图片问答、图像宰割、语音转文本、文本转语音、零样本文本分类、文本摘要、翻译等。不过你也能够扩大这些一些与 transformers 无关的工具,比方从网络读取文本等:
https://hf.co/docs/transformers/custom_tools
辅助生成 (Assisted Generation) 公布: 将低提早文本生成付诸实践,本地大语言模型助手不是梦!
大语言模型目前广受欢迎,但其响应速度的迟缓限度了其用户体验。对于须要快速反应的工作,人们通常应用规模较小的模型,但这会就义后果品质。文本生成的提早次要来自于模型的前向传递步骤,即模型权重加载到设施计算外围的过程,咱们的一篇博文介绍了一种新的解码办法,通过这种辅助生成办法,硬件中的提早能够升高多达 10 倍。此外,还能够通过模型优化和输出批处理来改善模型前向传递的性能问题。
欢送浏览中文博客内容 (微信版):
https://huggingface.co/blog/zh/assisted-generation
以及这个 Space 利用:
https://hf.co/spaces/joaogante/assisted_generation_demo
开源更新
凋谢的开源大语言模型排行榜
每周都有大量的大型语言模型 (LLM) 和各种聊天机器人公布,令人目迷五色~ 咱们制作了一个凋谢的大语言模型排行版,次要指标是跟踪、排名和评估最新的大语言模型和聊天机器人,让所有人不便的察看到开源社区的停顿和评估这些模型。这个排行榜有一个要害劣势,社区中的任何成员都能够提交模型,并在 Hugging Face 的 GPU 集群上主动评估。
你能够在这里看到这个排行榜:
https://hf.co/spaces/HuggingFaceH4/open_llm_leaderboard
Woodstock of AI 流动回顾视频
回顾咱们在 3 月底在旧金山举办的 AI 社区会议:
https://www.bilibili.com/video/BV1eX4y1h7yG/?aid=356590965&ci…