关于人工智能:GPT4问世LLM训练指南纯浏览器跑Stable-Diffusion

1. 多模态 GPT- 4 正式公布：反对图像和文本输出，成果超过 ChatGPT

OpenAI 的里程碑之作 GPT- 4 终于公布，这是一个多模态大模型（承受图像和文本输出，生成文本）。次要能力有：

• GPT- 4 能够更精确地解决难题，具备更宽泛的常识和解决问题的能力：更具创造性和协作性；能够承受图像作为输出并生成阐明文字、分类和剖析；可能解决超过 25,000 个单词的文本，容许长文内容创立、扩大对话以及文档搜寻和剖析等用例。
• GPT- 4 的高级推理能力超过了 ChatGPT。
• 在 SAT 等绝大多数业余测试以及相干学术基准评测中，GPT- 4 的分数高于 ChatGPT。

• GPT- 4 遵循 GPT、GPT- 2 和 GPT- 3 的钻研门路，利用更多数据和更多计算来创立越来越简单和弱小的语言模型（数据量和模型参数并未颁布）。
• OpenAI 花了 6 个月工夫使 GPT- 4 更平安、更具一致性。在外部评估中，与 GPT-3.5 相比，GPT- 4 对不容许内容做出回应的可能性升高 82%，给出事实性回应的可能性高 40%。
• 平安与对齐：引入了更多人类反馈数据进行训练，以改良 GPT- 4 的行为；一直汲取事实世界应用的经验教训进行改良；GPT- 4 的高级推理和指令遵循能力放慢的安全性钻研工作。

OpenAI 还开源了 Evals 框架（https://github.com/openai/evals），以主动评估 AI 模型性能，容许用户报告模型中的毛病，以帮忙其改良。

OpenAI 示意，GPT- 4 依然有许多正在致力解决的已知局限性，例如社会偏见、幻觉和对抗性 prompt。目前，OpenAI 正在 ChatGPT Plus 上提供 GPT-4，并为开发人员提供 API 以构建利用和服务。值得一提的是，微软的 New Bing 早就用上了 GPT-4。

链接：
API 申请：https://openai.com/waitlist/gpt-4-api；
https://openai.com/product/gpt-4；
https://mp.weixin.qq.com/s/kA7FBZsT6SIvwIkRwFS-xw

2. OpenAI 公布通用人工智能路线图：AGI 比设想中来得更快

在 ChatGPT 引爆科技圈之后，人们对于先进技术产生了更多期待，但始终有专家正告 AI 可能造成的危害。咱们晓得，OpenAI 的使命是确保通用人工智能 —— 比人类更聪慧的 AI 零碎，可能造福全人类。近期，OpenAI 公布了「AGI 路线图」，具体解释了这家前沿钻研机构对通用人工智能钻研的态度。

链接：
https://mp.weixin.qq.com/s/zu1a9p3nDTdk_lZ_-y8XFA

3. 超过 ChatGPT：大模型的智能极限

在此前《大型语言模型的涌现能力》、《ChatGPT 进化的机密》两篇文章中，符尧分析了大型语言模型的突现能力和潜在劣势，大模型所带来的“潜在的”范式转变，并拆解了 ChatGPT 演进的技术路线图。

在本文中，作者以终为始剖析了大模型的智能极限及其演进维度。不同于守株待兔式只谋求复现 ChatGPT 的经典互联网产品思维，而是指出了 OpenAI 组织架构和尖端人才密度的重要性，更重要的是，分享了模型演变与产品迭代及其将来，思考了如何把最粗浅、最艰难的问题，用最翻新的办法来解决。

链接：
https://mp.weixin.qq.com/s/PteNTHckNAP1iVq10JuONQ

4. 大型语言模型训练指南

近年来，训练越来越大的语言模型已成为常态（悟道 2.0 模型参数量曾经达到 1.75T，为 GPT- 3 的 10 倍）。但如何训练大型语言模型的信息却很少查到。

链接：
https://zhuanlan.zhihu.com/p/611325149

5. 大模型的三个根底假如

1. 开源模型会大大降低准入门槛；2. 利用为王，模型为辅；3. 企业市场须要新的平台服务

链接：
https://mp.weixin.qq.com/s/jC-_B_arDpm1dsEmJLZYIw

6. GPT-3/ChatGPT 复现的经验教训

为什么所有公开的对 GPT- 3 的复现都失败了？咱们应该在哪些工作上应用 GPT-3.5 或 ChatGPT？对于那些想要复现一个属于本人的 GPT- 3 或 ChatGPT 的人而言，第一个问题是要害的。第二个问题则对那些想要应用它们的人是重要的。

链接：
https://mp.weixin.qq.com/s/4B7wX0UhYjWGgozREa2b9w

7. ChatGPT 搜寻的推理老本剖析

实际上，每周推理 ChatGPT 的老本都超过了其训练老本。目前 ChatGPT 每天的推理老本为 700,000 美元。如果间接将以后的 ChatGPT 集成到谷歌的每次搜寻当中，那么谷歌的搜寻老本将大幅回升，达到 360 亿美元。谷歌服务业务部门的年净收入将从 2022 年的 555 亿美元降落至 195 亿美元。若将“类 ChatGPT”的 LLM 部署到搜寻中，则意味着谷歌要将 300 亿美元的利润转移到计算成本上。

链接：
https://mp.weixin.qq.com/s/JHIUc_3nfnxv-m_4YUC1Tw

8. ChatGPT 模型参数≠1750 亿，有人用反证法进行了证实

本文将应用反证法来证实并反对下面的论点，只须要应用大学里学到的一些理论知识。另外须要留神，还存在相同的问题，即有人宣称 ChatGPT 只有 X 亿个参数（X 远远低于 1750）。然而，这些说法无奈失去验证，因为说这些话的人通常是一人传虚; 万人传实。

链接：
https://mp.weixin.qq.com/s/lzIQ50GCKGEPu1Yzs-7FnQ

9. 从 0 到 1，OpenAI 的创建之路

最近，ChatGPT 让国内不少精英再一次感触到落后的紧迫感，不少守业团队要打造“中国版的 OpenAI”。咱们不乏真正有抱负的创业者，但设想一下，如果在 2015 年曾经有一支 OpenAI 团队，Sam Altman 和 Greg Brockman 这群人很可能会去打造另一支不同于它的“DeepMind”团队，而不会称本人要去打造“硅谷版的 OpenAI”，并且是为了复现 ChatGPT。

链接：
https://mp.weixin.qq.com/s/E1_30D9Jw1XHBQnrrSh4NQ

10. 清华朱军团队开源首个基于 Transformer 的多模态扩散大模型

以后的扩散模型 DALL ・ E 2、Imagen、Stable Diffusion 等在视觉创作上掀起一场反动，但这些模型仅仅反对文到图的繁多跨模态性能，离通用式生成模型还有肯定间隔。而多模态大模型将可能买通各种模态能力，实现任意模态之间转化，被认为是通用式生成模型的将来倒退方向。

清华大学计算机系朱军传授率领的 TSAIL 团队近期公开的一篇论文《One Transformer Fits All Distributions in Multi-Modal Diffusion at Scale》，率先公布了对多模态生成式模型的一些摸索工作，实现了任意模态之间的互相转化。

链接：
https://mp.weixin.qq.com/s/B68hXlFxA9L5jiWiMrEEiA

11. 编译器技术的演进与改革

在古代计算机系统中，编译器曾经成为一个必不可少的根底软件工具。程序员通过高级语言对底层硬件进行编程，而编译器则负责将高级语言形容转换为底层硬件能够执行的机器指令。编译器在将应用程序翻译到机器指令的过程中，还须要对程序进行等价变换，从而让程序可能更加高效地在硬件上执行。

链接：
https://mp.weixin.qq.com/s/wJxDPX-HwvhgnoksTXGyMg

12. AI 开发大一统：谷歌 OpenXLA 开源，整合所有框架和 AI 芯片

现在，机器学习开发和部署受到碎片化的基础设施的影响，这些基础设施可能因框架、硬件和用例而异。这种互相断绝限度了开发人员的工作速度，并对模型的可移植性、效率和生产化造成了阻碍。通过创立与多种不同机器学习框架、硬件平台独特工作的对立机器学习编译器，OpenXLA 能够减速机器学习利用的交付并提供更大的代码可移植性。

链接：
https://mp.weixin.qq.com/s/p8daMLluTQAEuj_HNzRA6Q

13. OpenAI Triton 介绍

深度学习畛域的新鲜钻研思维通常是应用原生框架运算符的组合来实现的。尽管不便，但这种办法通常须要创立许多长期张量，这可能会侵害神经网络的大规模性能。这些问题能够通过编写专门的 GPU 内核来缓解，但因为 GPU 编程的许多复杂性，这样做可能会十分艰难。

只管最近呈现了各种零碎以简化此过程，但咱们发现它们要么过于简短、不足灵活性，要么生成代码的速度显著慢于咱们手动调整的基线。因而，一种最新的语言和编译器由此就诞生了。

链接：
https://zhuanlan.zhihu.com/p/606435901

14. PyTorch 显存调配原理：以 BERT 为例

为什么在 nvidia-smi 显示的显存和理论占用不统一？模型训练和推理显存别离占用多大？如何节约显存，进步显存利用率？Fp16 有用吗？能够节俭多少显存？如何估算模型占用大小？这篇文章将会解决这些问题。

链接：
https://zhuanlan.zhihu.com/p/527143823

15. OneFlow 源码解析：Eager 模式下的 SBP Signature 推导

SBP 是 OneFlow 中独有的概念，其形容了张量逻辑上的数据与张量在实在物理设施集群上寄存的数据之间的一种映射关系。SBP Signature 即 SBP 签名，是 OneFlow 中独创且很重要的概念。

链接：
https://mp.weixin.qq.com/s/E2pL7OnMhcHjISJ_jcs9rA

16. 面向 Web 的机器学习编译冲破：纯浏览器运行 Stable Diffusion

本文介绍了 Web Stable Diffusion。这是世界上的第一个通过深度学习编译技术将 stable diffusion 齐全运行在浏览器中的我的项目。模型的全副所有都运行在浏览器里，无需云端服务器反对。

链接：
https://zhuanlan.zhihu.com/p/612517660

17. YOLOv5 全面解析教程④：指标检测模型精确度评估

链接：
https://mp.weixin.qq.com/s/nvfAU6TwTDoZhF8zFpCaOw

欢送 Star、试用 OneFlow 最新版本：https://github.com/Oneflow-Inc/oneflow/