共计 3372 个字符，预计需要花费 9 分钟才能阅读完成。
1. OpenAI 掌门人 Sam Altman：AI 的下一个倒退阶段
各种 AI 工具已显现出微小的日常利用后劲，能够实现人类的各种想法，改善人类的工作形式，比方由 Stability.ai 公布的开源 Stable Diffusion 模型，Microsoft 和 OpenAI 联结打造的 AI 编程工具 Copilot，OpenAI 开发的语言生成模型 GPT- 3 和图像生成平台 DALL- E 以及爆火的聊天机器人模型 ChatGPT。
肩负着雄伟使命且极富远见的 Altman 就曾预言：AI 行将迎来下一个倒退阶段。现在，大型语言模型越来越先进，也呈现了能够实现文本 - 图像互相转换的多模态模型，一些 AI 利用还可令科学家锦上添花。在他眼中，AI 是一个能够孵化出有数工具，推动各行各业后退的根底平台。
链接 ：
https://mp.weixin.qq.com/s/Ek…
2. 2022 年最值得关注的十篇论文
年关将至，威斯康星大学助理传授 Sebastian Raschka 盘点了 2022 年他最看好的十大论文。
“2022 年 1 月，扩散模型第一次吸引了我的眼球。过后我判断到将会有某些小事产生，然而却未曾预料到几个月后会呈现什么：DALLE-2、Imagen、Stable Diffusion 以及其它许多模型。对于大型语言模型来说，2022 也是十分重要的一年，最近面世的 ChatGPT 更是精益求精，抢尽了风头。”
链接：
https://mp.weixin.qq.com/s/At…
3. 人工智能 300 年：LSTM 之父详解古代 AI 和深度学习发展史
最近，LSTM 之父 Jürgen Schmidhuber 梳理了 17 世纪以来人工智能的历史。在这篇万字长文中，Schmidhuber 为读者提供了一个小事年表，其中包含神经网络、深度学习、人工智能等畛域的重要事件，以及那些为 AI 奠定根底的科学家们。
链接：
https://mp.weixin.qq.com/s/Tf…
4. 编程的终结
作者 Matt Welsh 置信“编写程序”的传统想法正在走向终结，事实上，除了十分业余的应用程序之外，咱们所晓得的大多数软件将被经过训练而不是编程的人工智能零碎所取代。在须要“简略”程序的状况下（毕竟，并非所有内容都须要在 GPU 集群上运行数千亿个参数的模型），这些程序自身将由 AI 生成，而不是手动编码。
链接：
https://mp.weixin.qq.com/s/EY…
5. ChatGPT 的一小步，NLP 范式转变的一大步
在此前《ChatGPT 进化的机密》一文中，本文作者分析了 ChatGPT 的技术路线图。而在 ChatGPT 公布前，作者具体介绍了大模型的突现能力、以及它在 NLP/ML 工作中的潜在劣势，以此来探讨大模型所带来的“潜在的”范式转变。显然，起初 ChatGPT 所展现出的弱小能力，将这种转变的步调扎实地推动了一大步。
链接：
https://mp.weixin.qq.com/s/g_…
6. 热议：2023 年 AI 零碎方向会有哪些新的停顿？
2023 年，探讨新的一年 AI 零碎方向会有哪些新的停顿，包含硬件、软件，模型优化、系统优化，单设施优化、scale-out 优化。
@齐俊：AI System 很大水平上是由 AI workload 来推动向前倒退的，讲一个倒退方向：进步被集成的能力。
@杨军：关注了最近十分 hot 的 ChatGPT，除了理解从模型角度这个技术所能带来的增益，以及其背地的技术渊源，也在联合本人的从业角度思考撑持这类模型技术演变以及更进一步撑持将来 AI 畛域模型演变，会对 AI 零碎提出哪些要求。
链接：
https://www.zhihu.com/questio…
7. 比照 PyTorch、TensorFlow、JAX、Theano，我发现都在关注两大问题
最近，作者在解决 PyTorch 分布式和 TorchRec 相干的工作，为此，他开始学习 PyTorch 2.0。在业余时间，我也在跟着 Alpa 作者学习 JAX 和 XLA。
现在回顾这些技术，他发现它们的关注点仿佛都是如下两个问题：1. 蕴含主动求导和并行在内的函数转换，例如 vmap, pmap 和 pjit 等；2. 异构计算，CPU 负责控制流，GPU/TPU 负责张量计算和汇合通信。
链接：
https://mp.weixin.qq.com/s/Bf…
8. 如何对待 PyTorch 2.0（TorchDynamo）？
Graph capture 把用户 Python 写的模型代码变成 graph，是所有编译的根基。而 PyTorch 在试了这么多计划之后仿佛曾经锁定 TorchDynamo 作为 graph capture 的将来方向了，所以写一点对于 TorchDynamo 的内容，次要是解释到底为什么要做这个货色。
链接：
https://mp.weixin.qq.com/s/VM…
9. TorchDynamo 初探：Python ByteCode 的动静批改
本文对 Python 的执行和 TorchDynamo 的次要原理做了初探，次要是自定义 Eval Frame 的实现技巧。其它相干的 Python ByteCode 规范，ByteCode 到 FX Graph 的转换，ByteCode 的改写等内容还没波及。
链接：
https://mp.weixin.qq.com/s/6e…
10. 聊聊 PyTorch 2.0（Inductor）
年末在疫情的笼罩下，人工智能畛域公布了不少新进展。最火的当然是 AIGC(ChatGPT, Diffusion Models)，不过 PyTorch 2.0 也赚足了眼球。
借此机会来聊聊 PyTorch 2.0 外面大家比拟关注然而还没有足够器重的局部 TorchInductor：Inductor 的停顿速度不容小觑，它仅在打算公布后短短的几个月便在 huggingface, timm_models, torchbench 等诸多模型下面获得 1.6~2.2 倍的减速 (Nv A100 GPU)。那么 Inductor 获得高效迭代和性能收益依附的是什么？
链接：
https://zhuanlan.zhihu.com/p/…
11. 如何写一个深度学习编译器？
编译器实质上是一种进步开发效率的工具，将高级语言转换为低级语言（通常是二进制机器码），使得程序员不须要徒手写二进制。转换过程中，首要任务是保障正确性，同时须要进行优化以晋升程序的运行效率。
传统意义上的编译器的输出通常是某种高级语言，输入是可执行程序。在理论工作中接触到了深度学习编译器开发，其设计思维与传统编译器十分相似，所以本文以深度学习编译器的开发、联合咱们理论开发的深度学习编译器 MegCC 为例，来阐明如何写一个编译器。
链接：
https://zhuanlan.zhihu.com/p/…
12. GPGPU 架构，编译器和运行时
链接：
https://zhuanlan.zhihu.com/p/…
13. CUDA 笔记（二）：解析 OneFlow BatchNorm 相干算子实现
在 CUDA 优化中常见的一个技巧是，将一些 ElementWise 的算子交融到之前的计算密集型算子如卷积、矩阵乘等。在 OneFlow 中，针对上述两种状况并且 cudnn 无奈 fuse 时别离进行了 fuse 和优化，本篇文章就来解析一下这里的代码实现，领会其中的 CUDA 优化技巧。
链接：
https://mp.weixin.qq.com/s/Nb…
14. YOLOv5 全面解析教程②：如何制作训练成果更好的数据集
本文次要介绍 One-YOLOv5 应用的数据集格局以及如何制作一个能够取得更好训练成果的数据集。
链接：
https://mp.weixin.qq.com/s/t4…
15. 1 月 12 日直播|机器之心“科技年会”之 AIGC 技术利用论坛
作为内容生产效率工具，AIGC 将在各畛域各场景催生怎么的范式变动？进入商业化阶段，图文多模态大模型的技术能力边界及将来倒退可能？作为 AI 基础设施的预训练模型，及其平安可控、开源普惠……1 月 12 日，「AIGC 技术利用论坛」将深刻分享 AIGC 相干技术最新进展，以及畛域企业前沿实际。「AIGC 技术利用论坛」全日程已正式颁布。
链接：
https://mp.weixin.qq.com/s/8d…
欢送 Star、试用 OneFlow 最新版本：https://github.com/Oneflow-In…
