每一周,咱们的共事都会向社区的成员们公布一些对于 Hugging Face 相干的更新,包含咱们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,咱们将其称之为「Hugging News」,本期 Hugging News 有哪些乏味的音讯,快来看看吧!
重要更新
Whisper Web: 在你的浏览器中运行语音辨认
作为 Transformers.js v2.2.0 的示例利用,咱们公布了一个名为 Whisper Web 的网页利用,它反对了 100 多种不同语言的转录和翻译,并反对切换模型、语言和工作。其代码是开源的,只须要几行代码即可运行。
在线体验:
https://hf.co/spaces/Xenova/whisper-web
开源更新
Transformers v4.30 公布: 在更小的设施上运行大语言模型
Transformers 的 4.30 版本曾经公布了,其中的 4-bit 量化是这次更新的亮点。4-bit 量化是一种升高深度学习模型大小和运算复杂度的技术。一般来说,深度学习模型中的参数是以 32-bit 浮点数(也就是咱们常说的 float)来示意的。每个这样的浮点数都须要 32 个 bit 的存储空间。然而,对于大多数的利用场景来说,咱们并不需要这么高的精度。因而,咱们能够通过量化技术将 32-bit 的浮点数转换为更低 bit 的示意,比方 4-bit,从而极大地升高模型的大小,放慢模型运算速度,升高能耗。通过将模型转换为 4-bit 格局,使得模型的大小减小,从而能够在更小的设施上运行,比方只有 24GB 的 GPU 上就能运行一个 30B 的模型。而这在之前是不可能做到的。应用这个性能非常简单,只须要在 .from_pretrained()
加载函数中增加 load_in_4bit=True
即可,这将使你的模型在推理和训练时更加节俭资源。
除此之外,这个版本还退出了在本地运行的 transformers agents、为了使 transformers 模型更加平安,将 safetensors 作为默认的序列化解决方案以及将 Meta 的 MMS 工作退出到 transformers 库中等。查阅具体的更新内容,请参加如下链接在 GitHub 上浏览:
https://huggingface.link/tfs430
Transformers 正式应用 Accelerate 作为其 PyTorch 后端
在长期的应用中,咱们发现 transformers 在不同设施上以及做分布式的训练时,其中有大量反复的代码,这并不是很 🦫,而 accelerate 库正好就是做这些的,所以咱们决定将 Trainer 转换为应用这个库。咱们尽量放弃向后兼容,以确保用户不会有太大感知,如果你始终在只用 Trainer 写分布式训练的代码则不须要做任何改变,但有一点须要留神,为了失去更好的性能,倡议将来你能够抉择应用最新版本的 accelerate 库。
与你在 WAIC 流动中相遇
世界人工智能大会(WAIC)是国家倒退和改革委员会、工业和信息化部、科学技术部、国家互联网信息办公室、中国科学院、中国工程院、中国科学技术协会和上海市人民政府独特主办的一个人工智能盛会,自 18 年开始至今曾经胜利举办五届。往年的 WAIC 将于 2023 年 7 月 6 日 — 8 日在上海举办。
WAIC – AIGC 时代下的青年开发者人才培养论坛
欢送来加入由 Hugging Face 中国负责人 Tiezhen 缺席的 WAIC – AIGC 时代下的青年开发者人才培养论坛,2023 年 7 月 8 日 9:00-12:00,在上海世博展览馆 – X 号会议室,请查看流动海报和报名链接。
报名链接: https://huggingface.link/waic-hf
海报原图地址: https://huggingface.link/waic-hf-poster
WAIC – 启明创投论坛:生成式 AI 与大模型
咱们也将缺席和参加 2023 年 7 月 7 日 9:00-12:00 在世博展览馆 B2F-1 号会议室的「启明创投论坛:生成式 AI 与大模型」的圆桌探讨环节。
欢送扫码参加流动,期待与你在现场见面!
以上就是上周的 Hugging News,新的一周开始了,咱们一起加油!