1. 2022 年最佳 AI 论文 32 篇：DALL·E 2、Stable Diffusion、ChatGPT 等入选
大模型和文生图、跨模态是往年毫无疑问的热点，此外也有多篇 GAN 等视觉畛域的文章。GitHub 上还有这些论文的短视频和文字解读、代码链接等。
从论文的次要奉献机构来看（有些机构尽管有奉献但排名较后有挂名嫌疑的，都被忽略不计了），仿佛能够反映出各公司在 AI 畛域的江湖位置：第一档：Google 8 篇，Meta 6 篇雄踞前二名，OpenAI 3 篇但有两篇影响力微小的（DALL·E 2 和 ChatGPT），如果按代表作评估，可能不会输给两巨头。第二档：NVIDIA 有 2.5 篇。第三档：国内腾讯、百度、微软（出自亚研院）各 1 篇。国外有三星、迪士尼各 1 篇。Snap、Adobe 都是 0.5 篇。
高校总共 5.5 篇，不如两巨头一家，相比之下要逊色很多。其中：特拉维夫有 1.5 篇位居第一，但慕尼黑的 Stable Diffusion 影响微小，应该视为第一档；CMU、南洋理工各 1 篇，第二档；南加大和伯克利各 0.5 篇，第三档。
链接：
https://github.com/louisfb01/…
https://hub.baai.ac.cn/view/2…
2. 吴恩达的 2022 年初盘点：生成式 AI、ViT、大模型
在过来的一年，生成式 AI 迎来爆发式增长，由人工智能生成的图片在社交平台疯狂流传，引发大量争议的同时也推动了投资；视觉 Transformer(ViT) 的工作也呈现爆炸性增长，在过来一年中，钻研人员共计发表超过 17,000 篇 ViT 论文；AlphaCode、Codex 等的推出便当了开发者，大受欢迎；与此同时，钻研人员也在一直拓宽语言模型的边界，在解决可信度、偏见和实时性等问题方面做出继续一直的致力。
链接：
https://mp.weixin.qq.com/s/na…
3. 2022 出圈的 ML 钻研：爆火的 Stable Diffusion、通才智能体 Gato，LeCun 转推
今日，ML & NLP 研究者、Meta AI 技术产品营销经理、DAIR.AI 创始人 Elvis S. 对 2022 年热度很高的 12 篇机器学习论文进行了汇总。帖子很火，还失去了图灵奖得主 Yann LeCun 的转推。
链接：
https://mp.weixin.qq.com/s/zd…
4. ChatGPT 进化的机密
ChatGPT 是怎么变得这么强的？它的各种弱小的能力到底从何而来？在这篇文章中，作者试图分析 ChatGPT 的突现能力（Emergent Ability），追溯这些能力的起源，心愿可能给出一个全面的技术路线图，来阐明 GPT-3.5 模型系列以及相干的大型语言模型是如何一步步进化成目前的弱小状态。作者心愿这篇文章可能促成大型语言模型的透明度，成为开源社区共同努力复现 GPT-3.5 的路线图。
链接：
https://mp.weixin.qq.com/s/dP…
5. 狂揽两千星，速度百倍晋升，高性能 Python 编译器 Codon 开源
作为高性能 Python 编译器，Codon 可将 Python 代码编译为本机机器代码，而无需任何运行时开销。在单线程上，Python 的典型减速大概为 10-100 倍或更多。Codon 的性能通常与 C/C++ 的性能相当。与 Python 不同，Codon 反对本机多线程，这能够使速度进步很多倍。Codon 可通过插件根底构造进行扩大，它容许用户合并新的库、编译器优化甚至关键字。
Codon 框架是齐全模块化和可扩大的，容许无缝集成新模块、编译器优化、畛域特定语言等，并踊跃为生物信息学和量化金融等多个畛域开发新的 Codon 扩大。
链接：
https://mp.weixin.qq.com/s/p2…
6. xNN：支付宝端侧深度学习框架
2017 年是支付宝第一次引入 AR 实景扫福，通过扫描任意“福”字帮忙大家去集收集福卡。过后的福字辨认模型抉择服务端服务部署的技术计划，为了在流动期间辨认福字，须要调用大量的服务端部署资源来部署辨认模型；另一方面，DL 在云端则意味着数据必须上传。即便不思考计算压力，从网络延时、流量、隐衷爱护等角度，也给用户体验带来种种限度。因而，对相当多的利用来说，DL 模型前移到挪动端部署能够看作是一种刚需。
链接：
https://mp.weixin.qq.com/s/ca…
7. OneFlow 源码解析：主动微分机制
深度学习框架个别通过主动微分（autograd）机制计算梯度并反向流传。本文尝试通过一个简略的例子，浅显地察看一下 OneFlow 的 autograd 的实现机制。
链接：
https://mp.weixin.qq.com/s/Em…
8. CUDA 笔记（一）：解析 OneFlow Element-Wise 算子实现
Elemet-Wise 算子指的是针对输出 Tensor 进行逐元素操作，比方 ReLU 就是针对输出 Tensor 的每个值进行判断是否大于 0，大于 0 的话输入就是输出否则就是 0。
链接：
https://mp.weixin.qq.com/s/_p…
9. Meta 千亿参数大模型 OPT-IML「升级版」来了，残缺模型和代码颁布
往年五月，MetaAI 官宣公布了基于 1750 亿参数的超大模型 OPT-175B，还对所有社区收费凋谢。12 月 22 日，该模型的更新版本 OPT-IML（Open Pre-trained Transformer）正式上线，Meta 称其「对 2000 个语言工作进行了微调，蕴含 1750 亿个参数」，还将为非商业钻研用处收费凋谢。
链接：
https://mp.weixin.qq.com/s/LE…
10. 一块 RTX 3090 减速训练 YOLOv5s，工夫缩小 11 个小时，速度晋升 20%
凭借对 YOLOv5 的性能剖析以及几个简略的优化，OneFlow 团队将单 RTX 3090 FP32 YOLOv5s 的训练速度晋升了近 20%。对于须要迭代 300 个 Epoch 的 COCO 数据集来说，One-YOLOv5 相比 Ultralytics/YOLOv5 缩短了 11.35 个小时的训练工夫。本文将分享所有优化技术，如果你是一名 PyTorch 和 OneFlow 的使用者，尤其日常和检测模型打交道但资源绝对受限，那么本文的优化办法将对你有所帮忙。
链接：
https://mp.weixin.qq.com/s/Lj…
11. YOLOv5 全面解析教程①：网络结构逐行代码解读
本教程也同样实用于 Ultralytics/YOLOv5，因为 One-YOLOv5 仅仅是换了一个运行时后端而已，计算逻辑和代码相比 Ultralytics/YOLOv5 没有做任何扭转，欢送 star。
链接：
https://mp.weixin.qq.com/s/qf…
12. Stable Diffusion 2.0 相比 1.5 是倒退吗？Prompt 试验给你假相
SD 2.0 在 Reddit 上招来群嘲，人们埋怨，SD 旧版本的 prompt，在 2.0 下不仅不再管用，甚至成果显著有倒退，生物体构造扭曲错乱，质感奇怪。拿来跟讨巧又低门槛的 Midjourney v4 一比拟，几乎是场噩梦。
作者对 SD2 的第一印象也跟社区差不多，不小的挫败和悲观。过来收藏的 prompt 跑完能看的不多。但摈弃旧思路，通过几组的 prompt 试验后，他又信念大振，发现了 Stable Diffusion 2.0 的很多亮点和劣势。
链接：
https://mp.weixin.qq.com/s/oC…
13. OneFormer：一个 Transformer 统治通用图像宰割
论文提出了 OneFormer，这是第一个基于 transformer 的多任务通用图像宰割框架，该框架只须要应用单个通用架构、单个模型和单个数据集进行一次训练，就能够在语义、实例和全景宰割工作上胜过现有框架，只管后者须要应用屡次资源在每个工作上独自训练。
链接：
https://mp.weixin.qq.com/s/X1…
14. Vision Transformer 这两年
在 NLP 畛域获得巨大成功后，Transformer 架构在计算机视觉方面的作用日渐凸显，成为越来越广泛的 CV 工具。自 2020 年 10 月 Vision Transformer 模型推出以来，人们开始高度关注 Transformer 模型在计算机视觉上的利用。
恰逢 Vision Transformer 推出两周年之际，借此机会咱们对其稍作介绍，并探讨这两年来倒退出的多种 Vision Transformer 模型变体以及 Transformer 在计算机视觉利用方面面临的各种挑战。
链接：
https://mp.weixin.qq.com/s/GW…
欢送 Star、试用 OneFlow 最新版本：https://github.com/Oneflow-In…