关键词：Transformer；PLM；SLM；NLM；LLM；Galactica；OPT；OPT-IML；BLOOM；BLOOMZ；GLM；Reddit；H100；H800；A100；A800；MI200；MI250；LaMA；OpenAI；GQA；RMSNorm；SFT；RTX 4090；A6000；AIGC；CHATGLM；LLVM；LLMs；GLM；AGI；HPC；GPU；CPU；CPU+GPU；英伟达；Nvidia；英特尔；AMD；高性能计算；高性能服务器；蓝海大脑；多元异构算力；大模型训练；通用人工智能；GPU 服务器；GPU 集群；大模型训练 GPU 集群；大语言模型；深度学习；机器学习；计算机视觉；生成式 AI；ML；DLC；图像宰割；预训练语言模型；AI 服务器；GH200;L40S；HBM3e；Grace Hopper；gracehopper
摘要：本文次要介绍大模型的外部运行原理、我国算力倒退现状。大模型指具备微小参数量的深度学习模型，如 GPT-4。其通过在大规模数据集上进行训练，可能产生更加精确和有创造性的后果。大模型的外部运行原理包含输出数据的解决、多层神经网络计算和输入后果生成。这些模型通常由数十亿个参数组成，须要宏大的计算资源和高速的存储器来进行训练和推理。
随着大模型的疾速倒退，我国在算力倒退方面获得显著停顿。近年来，我国投入大量资源用于高性能计算和人工智能畛域研发，并建设一系列超级计算中心和云计算平台。这些动作不仅晋升我国的科学研究能力，也为大模型训练和利用提供弱小反对。我国算力倒退曾经进入寰球当先行列，为推动人工智能倒退奠定松软的根底。
蓝海大脑大模型训练平台是蓝海大脑自主研发的高性能计算平台，专用于大模型训练和推理。该平台采纳先进的硬件架构和优化的软件算法，能够提供高效的计算能力和存储能力。
大模型外部运行原理
近年来，在大规模语料上预训练 Transformer 模型产生了预训练语言模型 (Pre-trained Language Model, PLM)，在各类自然语言解决工作上展示弱小的语言了解与生成能力。钻研发现扩充模型规模能够进步模型能力，导致大规模语言模型(Large Language Model, LLM) 的产生。当模型规模超过肯定阈值后，这些大模型不仅性能大幅晋升，还体现出小模型所不具备的语言学习能力。
LLM 技术的疾速停顿扭转了 AI 零碎的研发与利用范式。本文回顾了近年来 LLM 技术的倒退历程，同时总结了 LLM 的研发资源、存在的问题和将来方向。
一、引言
语言是人类独有的表白和交换能力，在儿童晚期就开始造成并随同毕生一直倒退变动。然而机器想要像人类一样天然地把握了解和应用语言的能力，必须装备弱小的人工智能算法。实现机器领有相似人类浏览、写作和交换能力是一个长期的钻研挑战。
从技术上讲，语言建模是进步机器语言智能的次要办法之一。语言建模通常是对词序列生成概率进行建模，以预测未呈现的词语。语言建模钻研在学术界受到宽泛关注。其倒退可分为四个次要阶段:
1、统计语言模型 (SLM)
SLM（Statistical Language Model）在 20 世纪 90 年代衰亡，基于统计学习办法，通过马尔可夫假如来建设词预测模型。其具备固定上下文长度 n 的 SLM 也称为 n 元语言模型，例如 bigram 和 trigram 语言模型。广泛应用于信息检索和自然语言解决，但常常面临维数劫难的困扰。因而须要专门设计平滑策略，如回退预计和古德图灵预计已被引入以缓解数据稠密问题。
2、神经语言模型 (NLM)
自然语言解决畛域中, 循环神经网络 (RNN) 等神经网络模型被广泛应用于形容单词序列的概率。晚期工作引入了词的分布式示意概念, 并基于分布式词向量来构建词预测函数, 作为该畛域的重要奉献。后续钻研扩大了学习词语和句子无效特色的思路, 开发出通用的神经网络办法, 为各类自然语言解决工作建设对立的解决方案。另外,word2vec 提出应用简化的浅层神经网络来学习分布式词示意, 这些示意在多种自然语言解决工作中展现出十分无效。以上钻研将语言模型利用于示意学习畛域, 而不仅限于词序列建模, 对自然语言解决产生了深远影响。
3、预训练语言模型 (PLM)
PLM 通过在大规模语料上预训练获取语义示意，而后微调到上游工作。Transformer 等构造的引入极大进步了性能。“预训练 - 微调”成为自然语言解决的重要范式。
4、大语言模型 (LLM)
大语言模型持续扩充模型和数据规模，展现出小模型所不具备的弱小语言能力。GPT- 3 等模型体现出惊人的上下文学习能力。ChatGPT 胜利地将大语言模型利用到凋谢畛域对话。
相比预训练语言模型 (PLM)，大语言模型(LLM) 有三大要害区别：
1）LLM 展现出 PLM 不具备的惊人涌现能力，使其在简单工作上体现弱小
2）LLM 将扭转人类开发和应用 AI 零碎的形式，须要通过提醒接口拜访
3）LLM 的钻研和工程界线不再明确。LLM 技术正在引领 AI、自然语言解决、信息检索和计算机视觉等畛域的改革，基于 LLM 的理论利用生态正在造成。
然而，LLM 的外在原理与关键因素还有待进一步摸索，训练大规模的 LLM 十分艰难，将 LLM 与人类价值观保持一致也面临挑战。因而须要更多关注 LLM 的钻研和利用。
二、概述
上面将概述大语言模型 (LLM) 的背景，并概括 GPT 系列模型的技术演进历程。
1、大语言模型的背景
大语言模型 (LLM) 通常指在大规模文本数据上训练的、蕴含数千亿级 (或更多) 参数的 Transformer 构造语言模型，比方 GPT-3、PaLM、Galactica、LLaMA 和 LLaMA2 等。LLM 展现了弱小的语言理解能力和通过文本生成解决简单工作的能力。为疾速了解 LLM 的工作原理，上面将介绍 LLM 的根本背景，包含扩大法令、涌现能力和关键技术。
1）大语言模型的扩大法令
目前大语言模型次要建设在 Transformer 架构之上，其中多头注意力机制层重叠在十分深的神经网络中。现有的大语言模型采纳相似的 Transformer 构造和与小型语言模型雷同的预训练指标(如语言建模)，然而大语言模型大幅扩大模型规模、训练数据量和总计算量(数量级上的晋升)。大量钻研表明扩大规模能够显著进步语言模型的能力。因而，建设一个定量的办法来形容扩大效应很有意义。
KM 扩大法令：2020 年 OpenAI 团队首次提出神经语言模型的性能与模型规模、数据集规模和训练计算量之间存在幂律关系。在给定计算估算下，依据试验提出三个公式来形容扩大法令。
这里 L 是用自然对数示意的穿插熵损失。上述三个法则是通过拟合不同数据量、不同模型大小和不同训练计算量条件下的语言模型性能得出。结果表明模型性能与这三个因素存在十分强的依赖关系。
Chinchilla 扩大法令：Google DeepMind 团队提出了另一种代替的扩大法令模式，用于领导大语言模型的最优训练计算量。通过变动更大范畴的模型规模和数据量进行严格的试验，并拟合出一个相似的扩大法令，但具备不同的系数:
在该法令中 E、A、B、α 和 β 为教训确定的系数。钻研人员进一步在训练计算量束缚 C ≈ 6ND 的条件下，通过优化损失函数 L(N,D)展现如何最优地在模型规模和数据量之间调配计算估算的办法。
这里 G 是依据系数 A、B、α 和 β 计算失去的扩大系数。如文献剖析随着给定计算估算的减少，KM 扩大法令更偏向于将估算调配给模型规模，而 Chinchilla 扩大法令认为应该以相近的比例减少模型和数据规模。只管存在一些局限性假如，这些扩大法令提供了对扩大效应的直观了解，能够用于训练过程中预测语言模型的性能。然而一些能力 (如上下文学习) 无奈齐全依据扩大法令预测，只有模型超过肯定规模后才会呈现。
大语言模型的要害特色之一是展现出预训练语言模型所不具备的涌现能力，即只有模型达到肯定规模后才呈现的全新能力。当涌现能力呈现时，性能会忽然显著晋升，超过随机程度，相似于物理学中的相变景象。涌现能力能够与简单工作相干，须要关注那些能宽泛解决工作的通用能力。上面简要介绍大语言模型的三种典型涌现能力和相干的代表性模型。
上下文学习：GPT- 3 首次提出这种能力，即只须要提供语言指令和大量示例，模型就能够生成预期的输入，无需额定训练。但这个能力与模型规模相干，须要达到肯定参数量才会呈现。
指令遵循：通过指令微调，大语言模型能够在齐全未见过的工作上，仅依据语言形容就进行泛化。当模型超过 680 亿参数后，这种能力才会显著晋升。不同模型对这种能力的把握也有差别。
逐渐推理：小模型难以解决须要多步推理的简单工作，而大语言模型能够通过提供两头推理步骤的思维链提醒来实现这类工作。当模型超过 600 亿参数时，这种提醒带来的成果才会显著。不同工作对这种能力的依赖水平也不同。
2）大语言模型的关键技术
通过长期倒退大语言模型 (LLM) 进化到目前通用且具备弱小能力的阶段。次要技术停顿包含:
扩大：减少模型、数据规模以及训练计算量，能够显著晋升 LLM 的能力。正当利用扩大定律领导资源分配也很重要。
训练：分布式训练算法对胜利训练大模型至关重要。一些优化框架和技巧能够促成大规模分布式训练。
能力疏导：设计失当的提醒策略能够激发 LLM 的潜在能力，但对小模型成果可能不同。
对齐微调：通过人机交互的强化学习，使 LLM 生成内容合乎人类价值观。
工具操作：利用内部工具补救 LLM 的局限，相似其“眼睛和耳朵”，能够扩大能力范畴。
此外，许多其余因素（例如硬件降级）也对 LLM 的胜利 做出了奉献。然而，咱们次要探讨在开发 LLM 方面的次要技 术办法和要害发现。
2、GPT 系列模型的技术演进
ChatGPT 因其与人类交换的杰出能力受到宽泛关注。它基于功能强大的 GPT 模型开发，对话能力失去了专门的优化。思考到人们对 ChatGPT 和 GPT 模型的浓厚兴趣，本文特地总结了 GPT 系列模型在过来几年中的技术演进过程，以进步公众的了解。总得来说 OpenAI 在大语言模型钻研上经验了以下几个阶段：
1）晚期摸索
依据 OpenAI 联结创始人 Ilya Sutskever 的采访，在 OpenAI 晚期就曾经摸索过应用语言模型实现智能零碎的想法，但过后试验的是循环神经网络(RNN)。随着 Transformer 架构的呈现，OpenAI 开发出了两个晚期 GPT 模型：GPT- 1 和 GPT-2，这些模型能够视为起初更弱小的 GPT- 3 和 GPT- 4 的根底。
GPT-1：在 2018 年，OpenAI 基于过后新的 Transformer 架构，开发出第一个 GPT 模型。GPT- 1 采纳 Transformer 解码器构造，并应用无监督预训练和有监督微调的办法，为后续 GPT 模型奠定根底。
GPT-2：GPT- 2 在 GPT- 1 的根底上减少了参数量，达到 150 亿，应用更大规模的网页数据集进行训练。通过无监督语言建模来实现上游工作，而不须要标注数据的显式微调。
2）能力飞跃
只管 GPT- 2 旨在通过无监督训练成为通用的多任务学习器，但与有监督微调的以后最优办法相比，其性能仍较弱。尽管 GPT- 2 模型规模较小，通过微调后在上游工作尤其是对话工作中依然获得广泛应用。在 GPT- 2 的根底上，GPT- 3 通过扩充模型规模，实现了在相似生成式预训练架构下的重大能力飞跃。
在 2020 年公布的 GPT- 3 将模型规模进一步扩充到 1750 亿参数。GPT- 3 论文正式提出上下文学习 (In-Context Learning, ICL) 的概念，即用小样本或零样本的形式应用语言模型。ICL 实质上依然是语言建模，只是预测的是实现给定工作的文本输入。GPT- 3 不仅在 NLP 工作上体现强劲，在须要推理的工作上也展现出惊人的适应能力。只管 GPT- 3 论文没有明确探讨涌现能力，但能够察看到其性能飞跃可能超过了根本的规模扩大法令，标记着从预训练语言模型到大语言模型的重要进化。
3）能力加强
GPT- 3 成为 OpenAI 开发更弱小语言模型的根底，次要通过两种形式进行改良:
应用代码数据进行训练：原始 GPT- 3 在纯文本上训练，推理能力较弱。应用 GitHub 代码微调能够加强其编程和数学问题解决能力。
与人类对齐：OpenAI 早在 2017 年就开始钻研如何从人类偏好中学习。他们应用强化学习办法训练语言模型以合乎人类冀望。不仅进步了指令遵循能力，也能加重无害内容生成。通过人机交互强化学习对齐语言模型与人类价值观十分重要。
4）语言模型的重要里程碑
基于之前的摸索，OpenAI 获得两个重要停顿：ChatGPT 和 GPT-4，极大地晋升 AI 零碎的能力：
ChatGPT：2022 年 11 月公布是对话优化的 GPT 模型，训练形式相似 InstructGPT。展现出与人交换的卓越能力和丰盛常识，是目前最弱小的聊天机器人，对 AI 钻研影响重大。
GPT-4：2023 年 3 月公布，反对多模态输出，相比 GPT-3.5 有显著晋升，在各类艰难工作上优于 ChatGPT。通过迭代对齐，对歹意问题的响应也更平安。OpenAI 采纳各种策略加重潜在危险。
只管获得长足进步，这些语言模型仍存在局限，须要继续优化使其更弱小和平安。OpenAI 采纳迭代部署策略来管制危险。
三、大语言模型资源
鉴于训练大语言模型面临的技术难题和计算资源需要，从零开始开发或复现大语言模型十分艰难。一个可行的办法是在现有语言模型的根底上进行增量开发或试验钻研。上面简要总结用于开发大语言模型的公开可用资源，包含公开的模型 Checkpoint、语料库和代码库。
1、公开可用的模型检查点或 API
思考到预训练模型的昂扬老本，公开的预训练检查点对钻研组织发展大语言模型至关重要。参数规模是应用这些模型时须要思考的关键因素。为帮忙用户依据计算资源抉择适当的钻研方向，将公开的模型分为百亿和千亿参数两个级别。另外，公开的 API 能够间接应用模型进行推理，无需本地运行。上面介绍公开的模型检查点和 API。
1）百亿参数量级别的模型
百亿参数量级的公开语言模型包含 mT5、PanGu-α、T0、GPT-NeoX-20B、CodeGen、UL2、Flan-T5 和 mT0 等，参数规模在 100-200 亿之间。其中 Flan-T5 可用于指令微调钻研，CodeGen 专为生成代码设计，mT0 反对多语言。针对中文工作，PanGu- α 体现较好。LLaMA 是最近公开的模型，在指令遵循工作上展示卓越能力。这类规模的模型通常须要数百至上千个 GPU/TPU。为精确预计所需计算资源，可应用计算量指标如 FLOPS。
2）千亿参数量级别的模型
千亿参数量级的公开语言模型较少，次要有 OPT、OPT-IML、BLOOM、BLOOMZ、GLM 和 Galactica。其中 OPT 用于复现 GPT-3，BLOOM 和 BLOOMZ 在多语言建模上体现较好，OPT-IML 进行过指令微调。这类模型通常须要数千个 GPU/TPU，比方 OPT 应用 992 个 A100 GPU，GLM 应用了 96 个 DGX-A100 节点。
3）大语言模型的公共 API
相比间接应用模型，API 提供更不便的形式应用大语言模型，无需本地运行。GPT 系列模型的 API 曾经被宽泛应用，包含 ada、babbage、curie、davinci 等。其中 davinci 对应 GPT- 3 最大模型。此外还有与 Codex 相干的代码生成 API。GPT-3.5 系列新增 text-davinci-002 等接口。gpt-3.5-turbo-0301 对应 ChatGPT。最近，GPT- 4 的 API 也公布。总体来说，接口抉择取决于具体利用场景和响应需要。
2、罕用语料库
与小规模预训练语言模型不同，大语言模型须要更大量且内容宽泛的数据进行训练。为满足这一需要，越来越多的公开数据集被公布用于钻研。这里简要概述一些罕用的大语言模型训练语料库，依据内容类型分为六类：Books、CommonCrawl、Reddit Links、Wikipedia、Code、Others。
1）Books
BookCorpus 蕴含超过 1.1 万本电子书，笼罩宽泛的主题，被晚期小规模模型如 GPT 和 GPT- 2 应用。Gutenberg 语料蕴含超过 7 万本各类文学作品，是目前最大的公开书籍汇合之一，被用于训练 MT-NLG 和 LLaMA 等模型。而 GPT- 3 中应用的未公开的 Books1 和 Books2 数据集规模更大。
2）CommonCrawl
CommonCrawl 是最大的开源网络爬虫数据库之一，已被宽泛使用于大型语言模型训练。现有基于 CommonCrawl 的过滤数据集包含 C4、CC-Stories、CC-News 和 RealNews。C4 包含五个变种 18，即 en，en.noclean，realnewslike，webtextlike 和 multilingual。其中，en 版本被用于预训练 T5，LaMDA，Gopher 和 UL2 用于预训练多个模型；CC-Stories 和 CC-News 是 CommonCrawl 数据的子集，蕴含故事模式的内容；RealNews 也被用作预训练数据。
3）Reddit Links
Reddit 是一个社交媒体平台，用户能够在下面提交链接和帖子。WebText 是一个驰名的基于 Reddit 的语料库，由 Reddit 上高赞的链接组成。OpenWebText 是易于获取的开源替代品。PushShift.io 是一个实时更新的数据集，包含自 Reddit 创立以来的历史数据。提供有用的实用工具，反对用户搜寻、总结和对整个数据集进行初步统计剖析。用户能够轻松地收集和解决 Reddit 数据。
4）Wikipedia
Wikipedia 是一个在线百科全书，蕴含大量高质量的文章，涵盖各种主题。采纳解释性写作格调并反对援用，笼罩多种不同语言和宽泛的常识畛域。Wikipedia 英语版本被广泛应用于大多数 LLM（如 GPT-3、LaMDA 和 LLaMA），还提供多种语言版本，可在多语言环境下应用。
5）Code
收集代码数据的次要起源是从互联网上爬取有开源许可证的代码，包含开源许可证的公共代码库（如 GitHub）和与代码相干的问答平台（如 StackOverflow）。Google 公开公布 BigQuery 数据集，蕴含各种编程语言的大量开源许可证代码片段，是典型的代码数据集。CodeGen 应用的 BIGQUERY 是 BigQuery 数据集的一个子集，用于训练多语言版本的 CodeGen-Multi。
6）Others
The Pile 是一个大规模、多样化的开源文本数据集（超过 800GB 数据），蕴含书籍、网站、代码、科学论文和社交媒体平台等内容。由 22 个高质量的子集组成，被广泛应用于不同参数规模的模型中，如 GPT-J（6B）、CodeGen（16B）和 Megatron-Turing NLG（530B）。此外，ROOTS 是由各种较小的数据集组成的大型语料库，笼罩 59 种不同的语言，用于训练 BLOOM。
为了预训练 LLM，通常须要混合应用不同的数据源，如 C4、OpenWebText 和 The Pile 等，并从相干源（如 Wikipedia 和 BigQuery）提取数据以丰盛预训练数据中的相应信息。为疾速理解现有 LLM 应用的数据起源，上面介绍三个代表性 LLM 的预训练语料库：
GPT-3（175B）在混合数据集上进行训练，包含 CommonCrawl、WebText2、Books1、Books2 和 Wikipedia。
PaLM（540B）应用由社交媒体对话、过滤后的网页、书籍、Github、多语言维基百科和新闻组成的预训练数据集，共蕴含 7800 亿 token。
LLaMA 从多个数据源中提取训练数据，包含 CommonCrawl、C4、Github、Wikipedia、书籍、ArXiv 和 StackExchange。LLaMA（6B）、LLaMA（13B）和 LLaMA（32B）的训练数据大小为 1.0 万亿 token，而 LLaMA（65B）应用了 1.4 万亿 token。
3、代码库资源
在这部分，简要介绍一些可用于开发 LLM 的代码库。
1）Transformers
Transformers 是一个由 Hugging Face 开发的 Python 库，采纳 Transformer 架构。提供简略易用的 API，不便用户定制各种预训练模型。该库领有宏大沉闷的用户和开发者社区，定期更新和改良模型和算法。
2）DeepSpeed
Microsoft 开发的深度学习优化库（兼容 PyTorch），已被用于训练多个 LLM，例如 MT NLG 和 BLOOM。反对分布式训练优化技术，如内存优化（ZeRO 技术和梯度检查点）和管道并行。
3）Megatron-LM
NVIDIA 开发的深度学习库，用于训练 LLM。提供分布式训练优化技术，如模型和数据并行、混合精度训练和 FlashAttention，可进步训练效率和速度，实现高效分布式训练。
4）JAX
Google 开发的 Python 库，用于高性能机器学习算法运算。反对在硬件加速下进行数组高效运算，可在各种设施上进行高效计算，还反对主动微分和即时编译等特色性能。
5）Colossal-AI
HPC-AI Tech 开发的深度学习库，用于训练大规模人工智能模型。基于 PyTorch 实现，反对并行训练策略和 PatrickStar 办法优化异构内存治理。最近公布 ColossalChat 类 ChatGPT 模型（7B 和 13B 版本）。
6）BMTrain
OpenBMB 开发的分布式训练库，强调简洁代码、低资源占用和高可用性。BMTrain 已在其 ModelCenter 中迁徙常见 LLM（如 Flan T5 和 GLM），用户可间接应用。
7）FastMoE
FastMoE 是一种专门用于 MoE 模型的训练库，基于 PyTorch 开发，重视效率和用户敌对性。简化了将 Transformer 模型转换为 MoE 模型的过程，反对数据和模型并行训练。
除了上述深度学习框架提供的资源外，其余框架如 PyTorch、TensorFlow、MXNet、PaddlePaddle、MindSpore 和 OneFlow 也提供并行算法反对，通常用于训练大规模模型。
四、数据收集
LLM 须要高质量数据进行预训练，其模型能力也依赖预处理形式和预训练语料库。上面次要探讨预训练数据的收集和解决，包含数据起源、预处理办法以及对 LLM 性能的影响剖析。
1、数据起源
开发有能力的 LLM 关键在于收集大量自然语言语料库。现有 LLM 混合各种公共文本数据集作为预训练语料库，起源分为通用文本和专用文本。通用文本数据（如网页、书籍和对话文本等）规模大、多样性强且易于获取，被大多数 LLM 所利用，可加强其语言建模和泛化能力。专用数据集（如多语言数据、迷信数据和代码等）可赋予 LLM 解决专用工作的能力。
现有 LLM 预训练数据中各种数据起源的比率
1）通用文本数据
通用预训练数据是 LLM 模型中不可或缺的局部，提供丰盛的文本资源和多样的主题。其中，三种重要的通用文本数据包含网页、对话文本和书籍。
网页包含维基百科、新闻网站等，但须要过滤低质量内容。为进步数据品质，钻研人员通常应用网络爬虫工具从互联网上抓取大量数据，如 CommonCrawl。这些数据可能同时蕴含高质量和低质量的文本，因而须要进行过滤和解决。
对话文本能够加强 LLM 的对话能力和问答工作的体现。钻研人员能够利用公共对话语料库的子集或从在线社交媒体收集对话数据。因为对话数据通常波及多个参与者之间的探讨，因而一种无效的解决办法是将对话转换成树形构造，将每句话与回应它的话语相连。通过这种形式，能够将多方之间的对话树划分为预训练语料库中的多个子对话。然而，适度引入对话数据可能会导致指令谬误地被认为是对话的开始，从而升高指令的有效性。
书籍是另一种重要的通用文本数据起源，绝对于其余语料库，书籍提供更正式的长文本。这对于 LLM 学习语言常识、建模长期依赖关系以及生成叙述性和连贯的文本具备潜在的益处。现有的开源数据集包含 Books3 和 Bookcorpus2，这些数据集能够在 Pile 数据集中取得。
2）专用文本数据
专用数据集对进步 LLM 在特定工作中的能力十分有用。三种专用数据类型包含多语言文本、迷信文本和代码。
• 多语言文本：整合多语言语料库能够加强模型的多语言了解和生成能力。例如，BLOOM 和 PaLM 在其预训练语料库中收集蕴含 46 种和 122 种语言的多语言数据，这些模型在多语言工作中展示杰出的性能，如翻译、多语言摘要和多语言问答，并且与在目标语言上微调的最先进的模型具备可比性甚至更好的性能。
• 迷信文本：迷信出版物的一直增长见证了人类对迷信的摸索。为加强 LLM 对科学知识的了解，能够将迷信语料库纳入模型的预训练语料，通过在大量迷信文本上进行预训练，LLM 能够在迷信和推理工作中获得杰出的性能。现有的工作次要收集 arXiv 论文、迷信教材、数学网页和其余相干的迷信资源。因为迷信畛域数据的复杂性，例如数学符号和蛋白质序列，通常须要特定的标记化和预处理技术来将这些不同格局的数据转换为能够被语言模型解决的对立模式。
• 代码：程序编写在学术界和 PLM 利用中受到宽泛关注，但生成高质量和精确的程序仍具备挑战性。最近钻研显示，在大量代码语料库上预训练 LLM 能够进步编程品质，通过单元测试用例或解决比赛编程问题。预训练 LLM 的代码语料库次要有两种起源：编程问答社区和开源软件仓库。与自然语言文本不同，代码以编程语言格局出现，对应着长距离依赖和精确的执行逻辑。最近钻研表明，训练代码可能是简单推理能力的起源，并且将推理工作格式化为代码的模式还能够帮忙 LLM 生成更精确的后果。
2、数据预处理
收集大量文本数据后，对数据进行预处理是必要的，特地是打消噪声、冗余、无关和潜在无害的数据，因为这些数据可能会影响 LLM 的能力和性能。上面将回顾进步数据品质的数据预处理策略。预处理 LLM 的预训练数据的典型流程已在图中阐明。
一个典型的预处理预训练数据的流程图
1）品质过滤
为删除低质量数据，现有工作通常采纳基于分类器或基于启发式的办法。基于分类器的办法应用高质量文本训练分类器，并预测每个数据的分数，从而过滤低质量数据。但这些办法可能会删除方言、书面语和社会语言的高质量文本，导致偏见和缩小多样性。基于启发式的办法则通过设计一组规定来打消低质量文本，这些规定能够总结为：去除反复、无关或不残缺的文本；去除拼写错误、语法错误或非常规用词的文本；去除不足上下文信息的文本等。
2）去重
现有钻研发现，语料库中的反复数据会影响模型多样性和训练过程稳定性，因而须要对预训练语料库进行去重解决。具体而言，能够在句子级、文档级和数据集级等不同粒度下来重。在句子级别上，应删除蕴含反复单词和短语的低质量句子；在文档级别上，可通过检测重叠比率来删除类似内容的反复文档；同时，还需避免训练集和评估集之间的重叠。这三个级别的去重都有助于改善 LLM 的训练，应该独特应用。
3）隐衷去除
大多数预训练文本数据来自网络起源，包含用户生成内容波及敏感或个人信息，可能减少隐衷泄露危险。因而，须要从预训练语料库中删除可辨认个人信息（PII）。一种间接无效的办法是采纳基于规定的办法，例如关键字辨认，来检测和删除 PII 等敏感信息。此外，钻研人员还发现，LLM 在隐衷攻打下的脆弱性可能归因于预训练语料库中存在的反复 PII 数据。因而，去重也能够升高隐衷危险。
4）分词
分词是数据预处理的关键步骤，将原始文本宰割成词序列，作为 LLM 的输出。尽管已有的分词器不便，但应用专为预训练语料库设计的分词器更无效，特地是对于多畛域、语言和格局的语料库。最近的几个 LLM 应用 SentencePiece 为预训练语料库训练定制化的分词器，并利用 BPE 算法确保信息不会失落。但须要留神归一化技术可能会升高分词性能。
3、预训练数据对大语言模型的影响
与小规模的 PLM 不同，大规模 LLM 通常无奈进行屡次预训练迭代，因而在训练之前准备充分的预训练语料库十分重要。上面将探讨预训练语料库的品质、散布等因素如何影响 LLM 的性能。
1）混合起源
来自不同畛域或场景的预训练数据具备不同的语言特色或语义常识，混合不同起源的数据时须要认真设置预训练数据的散布。Gopher 试验表明减少书籍数据比例能够进步模型从文本中捕获长期依赖的能力，减少 C4 数据集比例则会晋升在 C4 验证数据集上的性能。但独自训练过多某个畛域的数据会影响 LLM 在其余畛域的泛化能力。因而，倡议钻研人员应确定预训练语料库中来自不同畛域的数据的比例，以开发更合乎需要的 LLM。
2）预训练数据的数量
为预训练一个无效的 LLM，收集足够的高质量数据很重要。现有钻研发现，随着 LLM 参数规模的减少，须要更多的数据来训练模型。许多现有的 LLM 因为不足短缺的预训练数据而蒙受次优训练的问题。通过宽泛的试验表明，在给定的计算估算下，采纳相等规模的模型参数和训练 token 是必要的。LLaMA 钻研表明，应用更多的数据和进行更长时间的训练，较小的模型也能够实现良好的性能。因而，倡议钻研人员在充沛训练模型时，关注高质量数据的数量。
3）预训练数据的品质
钻研表明，对低质量的语料库进行预训练可能会侵害模型性能。为了开发体现良好的 LLM，收集的训练数据的数量和品质都至关重要。最近的钻研曾经表明数据品质对上游工作性能的影响。通过比拟在过滤和未过滤的语料库上训练的模型的性能，失去了雷同的论断，即在清理后的数据上预训练 LLM 能够进步性能。更具体地说，数据的反复可能会导致“双降落景象”，甚至可能会使训练过程不稳固。此外，反复的数据会升高 LLM 从上下文中复制的能力，进一步影响 LLM 在 ICL 中的泛化能力。因而，钻研人员有必要认真地对预训练语料库进行预处理来进步训练过程的稳定性，并防止其对模型性能的影响。
五、大语言模型的适配微调
预训练后的 LLM 能够取得解决各种工作的通用能力，LLM 的能力能够进一步适配到特定的指标。上面将介绍两种适配预训练后的 LLM 的办法：指令微调和对齐微调。前者旨在加强 LLM 的能力，后者则旨在将 LLM 的行为与人类价值观或偏好对齐。
1、指令微调
指令微调是在自然语言格局的实例汇合上微调预训练后的 LLM 的办法。收集或构建指令格局的实例后，应用有监督的形式微调 LLM，例如应用序列到序列的损失进行训练。微调后 LLM 能够展现出泛化到未见过工作的能力，即便在多语言场景下也有不错体现。
1）格式化实例的构建
指令格局的实例包含工作形容、输入输出和示例。现有钻研曾经公布带标注的自然语言格局的数据，是重要的公共资源。
格式化已有数据集：晚期的几项钻研工作是在不同畛域收集实例，创立有监督的多任务训练数据集以进行多任务学习。即利用人类撰写的自然语言工作形容来为这些数据集增加格式化，以领导语言模型了解不同的工作。例如，每一个问答工作都增加了 ” 请答复以下问题 ” 的形容。指令被证实是影响语言模型工作泛化能力的关键因素。为了指令调优生成更好的标注数据，一些工作采纳逆向输入输出的办法，即反转已有的输入输出设计指令。还有一些工作利用启发式模板将大量无标注文本转换为带标注的实例。
格式化人类需要：只管曾经通过增加指令格式化了大量训练数据，但这些数据次要来自公共 NLP 数据集，不足多样性和与实在需要的匹配。为了解决这个问题，一些工作采纳了用户提交给 OpenAI API 的实在查问作为工作形容。这些用自然语言表白的查问很适宜疏导语言模型遵循指令的能力。此外，还让标注者为实在生存中的工作编写各种指令，如开放式生成、问答、头脑风暴和聊天等。而后让其余标注者间接依据这些指令作为输入进行答复。最初，将指令和冀望输入配对作为一个训练实例。值得注意的是，这些真实世界工作还被用于对齐微调。另外一些工作将现有实例输出语言模型生成指令和数据，以加重人工标注的累赘，构建更多样性的训练数据。
构建实例的关键因素：指令实例的品质对模型的性能有重要影响。在此探讨了一些实例构建中的关键因素。
格式化实例和两种结构指令格局实例的形式的示意图
减少指令数量：大量钻研结果表明, 裁减工作数量能够显著进步大语言模型的泛化能力。随着工作数量的减少, 模型性能一开始继续进步, 但当工作数量达到肯定程度后, 模型性能晋升变得微不足道。一个正当的猜测是, 肯定数量的代表性工作就能够提供绝对短缺的常识, 持续增加更多任务收益无限。此外, 从工作形容的长度、构造、创造性等多个维度加强工作的多样性也是无益的。对于每个工作须要的实例数量, 已有钻研发现大量实例通常就能够使模型达到泛化性能饱和。然而, 对某些工作大幅减少实例数量 (例如数百个) 可能会导致过拟合, 影响模型性能。
指令格局的设计也很重要：通常能够在输入输出对中增加工作形容和示例。适当数量的示例有助于模型了解，也升高了对指令工程的敏感性。然而过多无关内容的增加反而可能事与愿违。含有链式推理的指令能够进步模型的推理能力。
2）指令微调策略
与预训练不同，指令微调因为只须要大量实例进行训练，因而通常更加高效。指令微调能够视为一个有监督的训练过程，其优化过程与预训练存在一些区别，例如训练指标函数 (如序列到序列的损失函数) 和优化参数设置(如更小的批量大小和学习率)。这些细节在实践中须要特地留神。除了优化参数设置，指令微调还须要思考以下两个重要方面:
数据分布均衡：因为波及多种工作混合，须要均衡不同工作的数据比例。一种办法是将所有数据合并后按比例采样。通常会给高质量数据如 FLAN 更高的采样比例，并设置最大容量限度样本总数，避免大数据集占据采样汇合。
联合预训练：一些办法在指令微调中退出预训练数，作为正则化。还有办法不分阶段，而是从头用多任务学习形式同时训练预训练数据和指令格局数据。一些模型也将指令数据作为预训练语料的一小部分来进行预训，以同时取得预训练和指令微调的劣势。
3）指令微调的成果
指令微调对语言模型有以下两个次要影响:
性能改良：指令微调能够显著进步不同规模语言模型的能力，即便在小数据集上微调也有显著成果。微调过的小模型有时甚至优于原大模型。指令微调提供了一种晋升现有语言模型能力的通用高效办法。
工作泛化：指令微调赋予模型遵循人类自然语言指令实现工作的能力，即便是未见过的工作也能够泛化执行。已证实它能加强模型在见过和未见过工作上的体现。指令微调还能帮忙缓解语言模型的一些弱点，进步解决真实世界工作的能力。经微调的模型能够将英文工作的能力泛化到其余语言相干工作上，甚至只用英文指令就能获得可称心的多语言工作体现。
2、对齐微调
这部分首先介绍对齐微调的背景，包含定义和评估规范；而后重点探讨用于对齐语言模型的人类反馈数据的收集办法；最初探讨利用人类反馈进行强化学习以实现对齐微调的关键技术。
1）对齐微调的背景和规范
语言模型在许多自然语言解决工作上展现了弱小的能力，但有时也可能体现出不合乎预期的行为，如生成虚伪信息、谋求不精确的指标以及产生无害、误导或带有偏见的输入。预训练语言模型的指标是语言建模，没有思考到人类的价值观，因而须要进行对齐微调以使模型行为合乎人类冀望。
对齐微调的规范与预训练和其余微调不同，更加主观和简单，如有用性、诚恳性和有害性。这些规范难以间接作为优化指标，须要采纳特定的技术实现。有用性要求模型用扼要高效的形式解决用户的问题和答复问题，并展现提出失当问题获取更多信息的能力。定义和测量有用性具备挑战性；诚恳性要求提供精确内容而不捏造，须要传播不确定性。绝对更主观，依赖人力可能更少；有害性要求不生成触犯或歧视语言，检测并回绝歹意申请，依赖于应用背景。
2）人类反馈的收集
抉择适合的标注人员很重要，须要教育程度高、英语能力强的母语使用者，最好有相干学历。还须要评估标注员产出与钻研人员预期的一致性，抉择一致性最高的人员进行标注工作，并在标注过程中提供具体领导。次要有以下三种办法收集人类反馈:
基于排序的办法：让标注员对模型生成的多个候选输入后果进行排序，失去一个偏好排名，依据这个排名调整模型偏向排名较高的输入。相比只抉择单个最佳输入，能够获取更丰盛的偏好信息。
基于问题的办法：钻研人员设计特定的问题，标注员须要答复这些问题对模型输入进行评估，问题设计须要笼罩各种对齐规范。能够取得比排序更具体的反馈信息。
基于规定的办法：钻研人员制订一系列规定，测试模型输入是否违反这些规定，标注员须要对违反水平进行定量的规定评分。能够间接取得是否合乎对齐规范的反馈。
强化学习是对齐微调中一个重要的技术，能够学习并优化模型依据人类反馈达到对齐规范。上面将具体探讨基于人类反馈的强化学习办法。
算法工作流
3）基于人类反馈的强化学习
为了确保 LLM 与人类价值观统一，人们提出了应用收集到的人类反馈数据对 LLM 进行微调的办法，称为 RLHF。这种办法采纳强化学习算法（如 PPO），通过学习处分模型使 LLM 适应人类反馈。这种办法将人类纳入训练循环中，以开发良好的 LLM，如 InstructGPT。
基于人类反馈的强化学习零碎：PLM 通常是一个生成模型，应用现有的 PLM 参数进行初始化。处分模型提供领导信号，反映人类对 LM（Language Model）生成文本的偏好。现有工作通常采纳与要对齐的 LM（Language Model）具备不同参数尺度的处分模型。最初，为了应用来自处分模型的信号优化 PLM，设计了一种特定的 RL 算法用于大规模模型的微调。具体来说，PPO 是一种在现有工作中宽泛应用的 RL 对齐算法。
基于人类反馈的强化学习的关键步骤：
监督微调：收集蕴含输出提醒和所需输入的监督数据集，对 LM 进行微调。例如，InstructGPT 要求人工标注者编写提醒和冀望输入。
训练处分模型：应用人类反馈的数据训练 RM，生成肯定数量的输入文本，邀请人工标注员为这些输出 - 输入对标注偏好。最初，训练 RM 预测人类偏好的输入。
强化学习微调：将 LM 的对齐微调形式化为 RL 问题，其中策略由 PLM 给出，口头空间是 LM 的词表，状态是目前生成的 token 序列，处分由 RM 提供。在处分函数中退出惩办项以防止偏离初始模型。
3、高效微调
本节将探讨如何对大模型（如 Transformer）进行高效微调。上面将回顾几种代表性的参数高效微调办法，并总结现有对于参数高效微调 LLM 的工作。
1）参数高效微调办法
Transformer 语言模型参数高效微调的几种次要办法：
适配器微调：在 Transformer 模型中插入小型的适配器模块，能够压缩并映射特征向量。适配器能够串行或并行连贯在注意力层和前馈层之后。在微调时只优化适配器参数，固定原始语言模型参数。
前缀微调：在每个 Transformer 层后面增加一组可训练的前缀向量，作为额定的工作特定参数。应用重参数化技巧学习映射前缀的小矩阵，而不是间接优化。只优化前缀参数以适配上游工作。
提醒微调：在输出层退出软提醒 token，以嵌入的模式加到输出文本中。只优化提醒嵌入来适配特定工作。利用提醒的自在格局设计。
低秩适配：用低秩合成矩阵来近似每层的网络参数更新矩阵。固定原始参数，只训练低秩合成中的两小型可适配矩阵。
各办法劣势不同，但共同点是只优化很少的参数来适配上游工作，固定语言模型大部分参数，实现参数高效的微调。
2）大语言模型上的参数高效微调
随着大语言模型（LLM）的衰亡，研究者们越来越关注高效微调办法，以开发更轻量级实用于各种上游工作的适配办法。其中，LoRA 办法在开源 LLM（如 LLaMA 和 BLOOM）中失去广泛应用，用于实现参数高效微调。LLaMA 及其变体因其参数高效微调而备受关注。例如，Alpaca-LoRA 是 Alpaca 的轻量级微调版本，Alpaca 是一个通过微调的 70 亿参数的 LLaMA 模型，蕴含 5.2 万个人类批示遵循演示。对于 Alpaca-LoRA，曾经在不同语言和模型大小方面进行了宽泛的摸索。
此外，LLaMA-Adapter 办法在每个 Transformer 层中插入可学习的提醒向量，其中提出了零初始化的注意力，以加重欠拟合提醒向量的影响，从而改善训练成果。此办法还被扩大到多模态设置，如视觉问答。
六、总结与将来方向
了解和解释语言模型的涌现能力是一个重要而又有挑战的问题。随着模型规模的扩充，像链式推理这样的能力会忽然呈现，但其机制还不分明。摸索涌现能力的影响因素和实践解释是以后的钻研热点。然而，更多正式的实践和原理还需建设，比方从简单零碎的角度解释语言模型。解读语言模型的能力和行为仍是一个值得探讨的根本问题，也是倒退下一代模型的关键所在。须要跨学科视角，以期取得更深刻的了解和解释。
构建更高效的 Transformer 变体和加重灾难性忘记是将来改良语言模型架构的两个重要方向。因为规范自注意力复杂度高，须要摸索更高效的注意力机制。另外，微调语言模型时原有常识很容易被新数据笼罩并忘记。所以须要通过引入更灵便的机制或模块，反对模型进行数据更新和工作专用化，同时保留原有通用能力。扩大现有架构使其既适应新工作又不忘记旧常识是语言模型面临的要害挑战。
只管能力弱小，大语言模型仍面临小模型相似的安全性挑战, 如产生错误信息、被利用产生无害内容等。次要的对策是通过人类反馈进行对齐优化，但目前的强化学习办法重大依赖大量高质量人类标注。
随着大规模语言模型（LLM）在各种工作中展现出弱小的能力，正在广泛应用于事实世界的各种利用中，包含遵循自然语言指令的特定工作。ChatGPT 作为一个重要的提高，曾经扭转了人们获取信息的形式，并在 ”New Bing” 公布中失去了体现。在不久的未来，能够预感 LLM 将对信息检索技术产生重大影响，包含搜索引擎和举荐零碎。此外，智能信息助手的开发和应用将随着 LLM 技术的降级而失去宽泛推广。从更宽泛的视角来看，这一技术创新浪潮将造成一个以 LLM 为反对的利用生态系统，例如 ChatGPT 对插件的反对，与人类的生存非亲非故。
我国算力倒退的现状
为了推动算力基础设施建设，促成各行各业的数字化转型，工业和信息化部与宁夏回族自治区人民政府于 8 月 18 日至 19 日在宁夏银川举办了 2023 中国算力（基础设施）大会。该大会旨在继续推动数字经济与实体经济的深度交融，为高质量倒退注入强劲能源。
一、AI 倒退继续深入，带动算力基础设施建设减速推动
工信部近年来始终致力于推动算力基础设施建设，并继续增强算力顶层设计。他们公布了多项政策文件，如《“十四五”信息通信行业倒退布局》和《新型数据中心倒退三年行动计划》，以优化全国算力布局，推动算力基础设施建设和利用。工信部还打算依据算力行业的最新倒退状况，出台政策文件，促成算力基础设施的高质量倒退，晋升算力供应能力。这些动作减速了算力基础设施建设，为数字经济的倒退奠定了松软的根底。
在 2023 中国算力大会上指出两个重要方面的倒退需要。一方面，要加强自主创新能力，推动计算架构、计算形式和算法的翻新，增强 CPU、GPU 和服务器等要害产品的研发，放慢新技术和新产品的利用。另一方面，要增强算力相干软硬件生态系统的建设，晋升产业根底的高级化程度，推动产业链上下游的协同倒退，独特构建良好的倒退生态。
截至 2022 年底，我国领有超过 650 万架规范机架，总算力规模达到 180EFLOPS，仅次于美国，存储总规模超过 1000EB（1 万亿 GB）。在人工智能 AI 倒退的浪潮下，我国不断加强 CPU、GPU 和服务器等要害产品的研发，算力倒退的动能无望继续加强，国产算力产业链上下游无望独特迎来疾速倒退。
中国人工智能利用场景倒退
中国人工智能行业在 2022 年获得显著的停顿，利用浸透度一直进步，利用场景也在一直拓宽，特地是在金融和电信等行业，人工智能的利用浸透度明显增加。智能客服、实体机器人、智慧网点和云上网点等场景的广泛应用，使金融行业的人工智能渗透率进步到 62%；而电信行业的浸透度从 45% 增长到 51%，人工智能技术为下一代智慧网络建设提供了重要反对。据国际数据公司（IDC）预测，到 2023 年年底，中国制造业供应链环节中将有 50% 采纳人工智能技术。随着工夫的推移，智能化场景在各行业的落地将呈现出更加深刻、更加宽泛的趋势。
人工智能行业渗透率（%）
随着大模型在人工智能畛域的崛起，智能算力需要出现几何级增长的趋势。中国的互联网巨头和科技巨头纷纷推出自主研发的大模型，如百度的文心大模型、华为的盘古大模型、阿里巴巴的通义大模型等。这些大模型具备数千亿甚至万亿级别的参数，须要大量高质量的训练数据以及宏大的算力反对。随着大模型的复杂性一直进步、数据规模的迅速增长以及利用场景的继续拓展和深入，智能算力的需要和规模必将在将来几年迎来爆发式增长。依据 OpenAI 的估算，自 2012 年以来，寰球顶尖 AI 模型训练所需算力每 3 - 4 个月翻一番，每年的增长幅度高达 10 倍。
大模型训练算力需要
智能算力的规模正在继续扩充，同时建设算力基础设施已成为共识。依据 IDC 与浪潮信息联结公布的《2022-2023 中国人工智能计算力倒退评估报告》，中国的人工智能计算力将疾速持续增长。截至 2022 年，中国的智能算力规模已达到 268 百亿亿次 / 秒(EFLOPS)，预计到 2026 年，中国的智能算力规模将达到 1271.4EFLOPS，将来五年的复合增长率预计为 52.3%，而通用算力规模的复合增长率为 18.5%。在国家层面上，曾经启动了在 8 个地区建设国家算力枢纽节点的打算，并布局 10 个国家数据中心集群，以实现资源的无效整合，促成产业结构调整，构建更加健全的算力和算法基础设施。
中国智能算力规模及预测(EFLOPS)
二、算力需要与芯片能力存在剪刀差，AI 倒退将对芯片性能提出更高要求
因为多样化的人工智能利用场景的需要，传统以 CPU 为主的通用计算能力曾经不足以满足要求。因而，采纳 CPU 与 AI 芯片（如 GPU、FPGA、ASIC）组成的异构计算计划已成为以后和将来智能计算的次要解决方案。异构计算计划须要大量的 AI 芯片，这些芯片具备杰出的并行计算能力和高互联带宽，可能最大化反对 AI 计算的效力。依据前瞻产业研究院的预测，中国的人工智能芯片市场规模将在 2023 年至 2027 年持续增长。到 2024 年，中国的人工智能芯片市场规模将冲破 1000 亿元；到 2027 年，市场规模将达到 2881.9 亿元。
中国人工智能芯片市场规模预测（亿元）
AI 芯片算力比赛正热火朝天地开展，各家公司纷纷推出新产品。在 6 月 13 日，AMD 公布了全新的人工智能 GPU Instinct MI300，并打算在往年晚些时候向一部分客户发货。这款处理器是 AMD 专为大型语言模型进行优化的版本，领有惊人的 1530 亿个晶体管数量，192GB 内存和 5.2TB/ s 的内存带宽，以及 896GB/ s 的 Infinity Fabric 带宽。而在 8 月 8 日，英伟达则发表推出下一代 NVIDIA GH200 Grace Hopper 平台，这是寰球首款装备 HBM3e 内存的 GPU 芯片。HBM3e 内存将使下一代 GH200 在运行 AI 模型时速度比以后快 3.5 倍。这些高容量的 GPU 有助于升高 AI 训练老本。
英伟达 GH200
行业龙头以欧美日等为主，国产化代替势在必行。依据中研普华产业研究院数据显示，目前寰球人工智能芯片行业前十以欧美韩日等企业为主，其中前三为 Nvidia、Intel 及 IBM。国内芯片企业如华为海思排 12 位，寒武纪排 23 位，地平线机器人排 24 位。以后竞争格局下，随着国内外大模型的减速倒退及垂类交融，国内 AI 算力芯片厂商将迎来产业倒退机会。
三、3 方协同助力算力基础设施，深入构建“东数西算”工程
在 2023 年中国算力大会新闻发布会上，工业和信息化部副部长张云明介绍了近年来在构建高质量算力供应体系方面所获得的踊跃成绩。为了晋升算力基础设施的综合能力，各方积极合作，采取多种措施，获得了三个方面的踊跃功效。
1）算力倒退布局政策相继出台，制度保障无力无效。工信部、发改委等部门联结印发了《全国一体化大数据中心协同翻新体系算力枢纽实施方案》，并批复批准在 8 个地区建设 10 个国家算力枢纽节点。同时，还出台了《新型数据中心倒退三年行动计划（2021-2023 年）》，以继续优化全国算力的整体布局。
2）算力基础设施建设扎实推动，倒退动能继续加强。为了撑持数字经济的倒退，产业各方严密协同，放慢了基础设施建设、算力体系构建和绿色倒退。从 2018 年开始，我国数据中心的机架数量年复合增长率超过 30%。截至 2022 年底，规范机架数量超过 650 万架，总算力规模达到 180EFLOPS，仅次于美国。同时，存储总规模超过 1000EB（1 万亿 GB）。这些数据表明，我国在算力底座方面获得了显著的成就。
3）算力赋能传统产业转型降级，交融利用减速涌现。目前，我国的算力产业曾经初步造成规模，并且产业链上的企业在中下游之间开展了协同单干，造成了良性互动。算力不仅成为传统产业转型降级的重要支撑点，还催生了一批新的经济增长点。依据中国信息通信研究院的测算，2022 年我国算力外围产业规模达到了 1.8 万亿元。每投入 1 元的算力，将带动 3 至 4 元的 GDP 经济增长。这些数据表明，算力产业在我国的发展前景非常广阔，并具备微小的经济后劲。
宁夏将扩充其算力枢纽的影响力，通过举办西部数字赋能大会和第二届“西部数谷”算力产业大会来实现。作为西部地区首个以数字赋能为主题的产业大会，首届“西部数谷”算力大会在 2022 年签约了 24 个我的项目，总投资金额达 727 亿元，目前已有 18 个我的项目开始施行。宁夏作为“东数西算”算力枢纽节点，在 2023 年 6 月曾经建设了 34.9 万架的数据中心规范机架，互联网省际进口带宽达到 20.6Tbps，网络程度在西部地区处于领先地位。
目前，算力构造以通算和存储业务为主，占比达到 61%。国家正在推动“东数西算”工程，通过构建新型算力网络体系，将东部的算力需要有序疏导到西部，优化数据中心建设布局，促成东西部的协同倒退。8 个国家算力枢纽节点将成为我国算力网络的要害连接点，推动数据中心集群的倒退，促成数据中心与网络、云计算和大数据之间的协同建设，同时也是国家“东数西算”工程的策略支点，推动算力资源有序向西部转移。
蓝海大脑大模型训练平台
蓝海大脑大模型训练平台提供弱小的算力反对，包含基于凋谢减速模组高速互联的 AI 加速器。配置高速内存且反对全互联拓扑，满足大模型训练中张量并行的通信需要。反对高性能 I / O 扩大，同时能够扩大至万卡 AI 集群，满足大模型流水线和数据并行的通信需要。弱小的液冷零碎热插拔及智能电源治理技术，当 BMC 收到 PSU 故障或谬误正告（如断电、电涌，过热），主动强制零碎的 CPU 进入 ULFM（超低频模式，以实现最低功耗）。致力于通过“低碳节能”为客户提供环保绿色的高性能计算解决方案。次要利用于深度学习、学术教育、生物医药、地球勘探、气象陆地、超算核心、AI 及大数据等畛域。
一、为什么须要大模型？
1、模型成果更优
大模型在各场景上的成果均优于一般模型
2、发明能力更强
大模型可能进行内容生成（AIGC），助力内容规模化生产
3、灵便定制场景
通过举例子的形式，定制大模型海量的利用场景
4、标注数据更少
通过学习大量行业数据，大模型就可能应答特定业务场景的需要
二、平台特点
1、异构计算资源调度
一种基于通用服务器和专用硬件的综合解决方案，用于调度和治理多种异构计算资源，包含 CPU、GPU 等。通过弱小的虚拟化治理性能，可能轻松部署底层计算资源，并高效运行各种模型。同时充分发挥不同异构资源的硬件加速能力，以放慢模型的运行速度和生成速度。
2、稳固牢靠的数据存储
反对多存储类型协定，包含块、文件和对象存储服务。将存储资源池化实现模型和生成数据的自在流通，进步数据的利用率。同时采纳多正本、多级故障域和故障自复原等数据保护机制，确保模型和数据的平安稳固运行。
3、高性能分布式网络
提供算力资源的网络和存储，并通过分布式网络机制进行转发，透传物理网络性能，显著进步模型算力的效率和性能。
4、全方位平安保障
在模型托管方面，采纳严格的权限管理机制，确保模型仓库的安全性。在数据存储方面，提供私有化部署和数据磁盘加密等措施，保证数据的平安可控性。同时，在模型散发和运行过程中，提供全面的账号认证和日志审计性能，全方位保障模型和数据的安全性。
三、罕用配置
1、处理器，CPU:
Intel Xeon Gold 8358P 32C/64T 2.6GHz 48MB,DDR4 3200,Turbo,HT 240W
Intel Xeon Platinum 8350C 32C/64T 2.6GHz 48MB,DDR4 3200,Turbo,HT 240W
Intel Xeon Platinum 8458P 28C/56T 2.7GHz 38.5MB,DDR4 2933,Turbo,HT 205W
Intel Xeon Platinum 8468 Processor 48C/64T 2.1GHz 105M Cache 350W
AMD EPYC™ 7742 64C/128T,2.25GHz to 3.4GHz,256MB,DDR4 3200MT/s,225W
AMD EPYC™ 9654 96C/192T,2.4GHz to 3.55GHz to 3.7GHz,384MB,DDR5 4800MT/s,360W
2、显卡,GPU：
NVIDIA NVLink-A100-SXM640GB
NVIDIA HGX A800 8-GPU 80GB
NVIDIA Tesla H800 80GB HBM2
NVIDIA A800-80GB-400Wx8-NvlinkSW×8