乐趣区

关于人工智能:开源ChatGPT要来了软件20智能革命GLMDiffusion模型大加速

1. 2023 年 AI 十大瞻望:GPT- 4 领衔大模型改革,谷歌拉响警报,训练数据告急

新年伊始,大模型的话题热度不减。ChatGPT 展示的惊人能力将大模型钻研和利用热度推向低潮,人们强烈探讨着这个高级“物种”的推出意味着什么。

本文作者 Rob Toews 公布了 2023 年 AI 倒退的十大预测,整体来看,大部分预测都离不开“大模型”这个关键词,具体分析也有其情理。当然,其中的文生图、人形机器人等畛域的倒退也无足轻重。2023,让咱们刮目相待。

链接:
https://mp.weixin.qq.com/s/E_…

2. 机器之心的进化 / 了解 AI 驱动的软件 2.0 智能反动

本文将带你领略一次人工智能畛域波澜壮阔的发展史,从关键人物推动的学术停顿、算法和理念的涌现、公司和产品的提高、还有脑科学对神经网络的迭代影响,这四个维度来深刻理解“机器之心的进化”。先忘掉那些花里胡哨的图片生产利用,咱们一起来学点靠近 AI 实质的货色。

链接:
https://mp.weixin.qq.com/s/5s…

3. AGI 的孤勇者,传奇工程师 John Carmack:诧异看不到如我这样的人

AGI 是人工智能的圣杯,这位达拉斯最驰名的科技奇才对 AGI 的谋求就好比是百年难遇的登月口头。在这场针对 AGI 的角逐当中,参与方还有来自科学家、学者和大型科技公司的“群体思维(groupthink)”的独立竞争,他们也在踊跃寻求解决方案。

去年 8 月,Carmack 发表,他的 AGI 初创公司 Keen Technologies 在新一轮融资中从多个出名投资者手中筹集了 2000 万美元。2022 年 12 月,卡马克辞去了 Meta 虚拟现实部门的领导职务,全身心投入 AGI 研发。

链接:
https://mp.weixin.qq.com/s/MM…

4. OpenAI 掌门人 Sam Altman 的胜利学

现在,已成为 OpenAI CEO 的 Sam Altman 是寰球范畴内当之无愧的科技领军人物。在离职 YC 总裁的那一年,曾与有数创业者和技术人才交流过的 Sam Altman 发表了一篇博客,总结了他眼中获得成功所要具备的 13 个特质,如果你渴求胜利,或者至多心愿本人变得优良,这篇博客对你的个人成长将有所启发。如果你恰好在职业生涯晚期就看过,无疑是侥幸的。

链接:
https://mp.weixin.qq.com/s/AH…

5. ChatGPT,和聪慧地设计 Infra

作者次要有四个观点:ChatGPT 并不是黑科技,是继续凋谢科研的产物;ChatGPT 是工程、产品的胜利;ChatGPT 不会让人就业,反而会带来更多的机会;Infrastructure 会是这一场仗当中的赢家,然而要聪慧地设计 Infra。

链接:
https://mp.weixin.qq.com/s/oM…

6. Open Assistant:LAION 发动开源 ChatGPT 我的项目

ChatGPT 的成果惊人,但不开源。显然开源社区有人憋不住了。LAION(代表作是赫赫有名的数据集 LAION-5B)的组织者 Christoph Schuhmann 与 Yannic Kilcher(AI 圈出名的 YouTube 大 V)一通视频电话,就启动了我的项目,很快我的项目的 Discord 讨论组就进了很多人,无比沉闷起来。最开始项目名称是 open-chat-gpt,大概一周后改为 Open Assistant。

链接:
https://hub.baai.ac.cn/view/2…

7. 国内开发者发动 ChatRWKV 我的项目,做开源 ChatGPT

ChatRWKV 相似于 ChatGPT,但由 RWKV(100% RNN)语言模型提供反对,这是目前惟一能够在品质和缩放方面与 Transformer 相媲美的 RNN,同时速度更快并节俭 VRAM。

链接:
https://zhuanlan.zhihu.com/p/…

8. 通向 AGI 之路:大型语言模型(LLM)技术精要

ChatGPT 呈现后惊喜或惊醒了很多人。惊喜是因为没想到大型语言模型(Large Language Model)成果能好成这样;惊醒是顿悟到咱们对 LLM 的认知及倒退理念,间隔世界最先进的想法,差得有点远。作者称,作为既惊喜又惊醒的那一批,也是典型的中国人,中国人长于自我反思,于是开始反思,而这篇文章正是反思的后果。

链接:
https://mp.weixin.qq.com/s/eM…

9. Jeff Dean 发推:谷歌年终总结「第三弹」,大力发展 Jax

随着算法和硬件越来越简单,以及运行规模越来越大,执行日常工作所需的软件的复杂性也在一直减少。

在这篇文章中,钻研人员概述了过来一年整个谷歌在 ML 零碎方面获得的泛滥停顿,这些停顿使谷歌可能反对简单模型的服务和训练,同时加重了终端用户的施行复杂性。同时,这篇文章还提到了谷歌如何利用 ML 自身来改良和设计下一代零碎堆栈的钻研。

链接:
https://mp.weixin.qq.com/s/TV…

10. 和 TensorFlow 一样,英伟达 CUDA 的垄断格局将被突破?

谷歌晚期在机器学习模型架构、训练、模型优化方面都具备很大劣势,但当初却难以充分发挥这些劣势。而在硬件方面,其余 AI 硬件公司很难减弱英伟达的统治位置。直到 PyTorch 2.0 和 OpenAI Triton 呈现,机器学习模型的默认软件堆栈将不再是英伟达的闭源 CUDA。

链接:
https://mp.weixin.qq.com/s/dG…

11. OneFlow v0.9.0 正式公布

本次更新蕴含 640 个 commit,残缺更新列表请查看链接:https://github.com/Oneflow-In…,欢送下载体验新版本,期待你的反馈。OneFlow v0.9.0 次要包含 9 大新增亮点性能和优化。

链接:
https://mp.weixin.qq.com/s/8V…

12. GLM 国产大模型训练减速:性能最高晋升 3 倍,显存节俭 1 /3,低成本上手

OneFlow 近期将原始的 GLM 我的项目移植到了应用 OneFlow 后端进行训练的 One-GLM 我的项目。得益于 OneFlow 和 PyTorch 无缝兼容性,咱们疾速且平滑地移植了 GLM,并胜利跑通了预训练任务(训练 GLM-large)。

此外,因为 OneFlow 原生反对 DeepSpeed 和 Apex 的很多性能和优化技术,用户不再须要这些插件就可训练 GLM 等大模型。更重要的是,针对以后 OneFlow 移植的 GLM 模型,在简略调优后就能在性能以及显存占用上有大幅晋升。

链接:
https://mp.weixin.qq.com/s/dk…

13. A16Z:生成式 AI 平台,谁主沉浮?

不像许多热门的技术趋势在市场跟上其步调前就被适度炒作了,生成式 AI 的热潮却随同着极高的市场欢送度以及实在的市场收益。如 Stable Diffusion 和 ChatGPT 的模型们正在发明用户增长的历史记录,一些利用在公布不到一年的工夫里就实现了 1 亿美元的年营收。

对照表明,AI 模型在某些工作上的体现优于人类好几个数量级。已有足够的晚期数据表明范式转移正在产生。

链接:
https://mp.weixin.qq.com/s/bh…

14. 35 张图,直观了解 Stable Diffusion

Stable Diffusion 用处多样,是一款多功能模型。首先它能够依据文本生成图像 (text2img)。上图是从文本输出到图像生成的示例。除此之外,咱们还能够应用 Stable Diffusion 来替换、更改图像(这时咱们须要同时输出文本和图像)。

本文介绍了 Stable Diffusion 的内部结构,理解内部结构能够让咱们更好地了解 Stable Diffusion 的组成、各组成部分的交互方式、以及各种图像生成选项 / 参数的含意。

链接:
https://mp.weixin.qq.com/s/8C…

15.“零”代码改变,动态编译让太乙 Stable Diffusion 推理速度翻倍

近期,OneFlow 团队为太乙 Stable Diffusion 适配了 OneFlow 后端,大大晋升了推理性能,也能够做到一秒出图。不少开发者好奇 OneFlow 应用了哪些优化“秘笈”,后文将进行简要解读。

链接:
https://mp.weixin.qq.com/s/Xa…

16.“一键”模型迁徙,性能翻倍,多语言 AltDiffusion 推理速度超快

因为目前大部分团队次要是基于翻译 API + 英文 Stable Diffusion 模型进行开发,所以在应用中文独特的叙事和表白时,英文版模型就很难给出正确匹配的图片内容,这对局部国内用户来说不太不便。

为此,智源研究院出品了首个反对 9 种语言的 AltDiffusion。近期,OneFlow 团队为其适配了 OneFlow 后端,大大晋升了推理性能,也能够做到一秒出图。

链接:
https://mp.weixin.qq.com/s/wh…

17. Runway 公布视频生成器 GEN-1,后果比 Stable Diffusion 1.5 晋升 73.83%,比 Text2Live 晋升 88.24%

Runway 成立于 2018 年,是一家 AI 视频编辑软件提供商,次要为设计师、艺术家和开发人员提供一系列的工具和平台,产品是帮忙专业人士生成各种内容。其公布的 GEN- 1 可通过将图像或文本提示符的组成和款式利用到源视频的构造上,理论地并始终如一地合成新视频,演示成果惊人。GEN- 1 目前仍处于内测阶段。

链接:
https://hub.baai.ac.cn/view/2…

欢送 Star、试用 OneFlow 最新版本:https://github.com/Oneflow-In…

退出移动版