导语
图 1. ChatGPT 生成的对于智能写作的介绍
智能写作指应用自然语言解决技术来主动生成文本内容。这种技术通过剖析给定语料库，学习文本的构造和语法，而后利用这些信息来生成新的文本。智能写作能够用来疾速生成高质量的文本内容，并且能够用来实现诸如文章写作、报告生成和摘要提取等工作。
图 1 为咱们介绍了智能写作的基本概念，而令人意想不到的是，这一段介绍的作者竟是 AI 自身！这一段 AI 主动生成的“自我介绍”既富裕逻辑条理，又论述了正确的常识，这便是当下最炽热的 AIGC 技术的威力！
什么是 AIGC？AIGC，即 AI-generated Content，基于 AI 的内容生产，它是利用人工智能进行内容创作的形式，它被认为是继 PGC（Professionally-generated Content）、UGC（User-generated Content）之后的新型内容创作形式。AIGC 在文本、图像和音视频等多畛域都正在高速倒退，近年来诞生了许多主打 AIGC 的创作体验平台，用户能够输出一句话让 AI 合成一张与形容关联的图片，或者更为常见的是输出一句文章的形容，或仅仅是一句故事的结尾，让 AI 替你实现文章的续写。智能写作在咱们的日常办公中具备相当好的落地前景，例如新闻写作、诗歌春联、故事写作、广告文案、金融报告、行政文书等办公场景，这些场景都有相干智能写作产品失去利用，能够看到智能写作技术可能为包含资讯、金融、广告、政法等各行各业的从业者提供便捷且高质量的文本写作服务，帮忙人们更快地了解和剖析简单的信息，从而帮忙人们更好地做出决策，产生重要的价值。这所有生产力进步的愿景正在逐渐成为事实，背地起因是技术的倒退和晋升，下图为笔者整顿的 AIGC 用于智能写作的相干技术倒退脉络。
图 2. 文本写作的相干重要技术
文本写作技术在很长一段时间里以 RNN Seq2Seq 为主，倒退缓慢，而当 Transformer 模型构造问世后，这一畛域的技术倒退迅速暴发，围绕着 Transformer 的文本写作技术喷涌而出，包含微软亚洲研究院、谷歌 AI、Facebook AI、OpenAI 等诸多国内出名钻研机构都纷纷投入，先后诞生了 UniLM（2019）、MASS（2019）、T5（2020）、BART（2020）、GPT 系列（2018-2022）等多个影响力显著的研究成果。本文将沿着这条技术倒退脉络，从传统的智能写作到现在的前沿钻研为读者做具体的论述，并为大家介绍达观数据的智能写作产品实际。
智能写作相干技术背景
01 工作定义
在深刻理解相干技术之前，咱们先对文本写作工作进行一个数学上的形式化定义。文本写作工作的外围是生成一个字符串组成的序列 Y =（y1,…,yi,…,yn）, 其中 yi∈ν，ν 是一个给定的词汇表。在大多数状况下，文本写作须要以输出作为条件进行生成，输出的数据可能是文章主题，或者是文章的结尾句等等，咱们用 X 示意输出。基于以上定义，文本写作工作建模能够示意为 P(Y|X) = P（y1,…,yi,…,yn |X)，其中 P 示意概率分布函数。
02 数据集
写作工作公开的评测数据集，在英文上有 CommenGen、ROCStories、WritingPrompts 等若干数据集，而在中文上有 Couplets、AdvertiseGen 等若干数据集，数据集的概述见表 1。
表 1. 文本写作工作相干评测数据集
03 评测指标
文本写作工作需要量身定制的指标可能对技术的优劣进行评测，通常写作的好坏会从四个角度进行度量：
- 晦涩度（fluency）：生成文本的晦涩水平；
- 真实性（factuality）：生成文本在多大程度上反映了语境；
- 语法（grammar）：生成文本的语法正确性；
- 多样性（diversity）：生成的文本是否具备不同的类型或款式。
通常此类工作的评测最好的形式当属人工，然而人工评测的老本微小，为此，业界设计了以下几种主动评测的量化指标，这些指标通常是量化生成文本和参考文本之间的类似度。比拟罕用的有基于词汇和基于语义的类似度度量。
3.1 基于词汇
基于词汇的度量是掂量单词或短语单元的重合度，而后聚合到整体句子级类似度，包含：
- BLEU-n，计算生成文本和参考文本的 n -gram 单元的重合度，最为宽泛应用的是 BLEU 和 BLEU-2
- Self-BLEU，用来掂量生成文本的多样性，即在多条不同的生成文本之间计算 BLEU 值，Self-BLEU 越小则多样性越强；
- ROUGE-n，同样是计算生成文本和参考文本的 ngram 单元的重合度，不同点在于 BLEU 是重合 n -gram 数 / 生成文本 n -gram 数，而 ROUGE 是重合 n -gram 数 / 参考文本 n -gram 数，因而能够看做召回版本的 BLEU；
- Perplexity（PPL）和 Reverse PPL，PPL 是在参考文本上训练语言概率模型，而后用它计算生成文本的概率，概率越高则示意生成文本越晦涩；而 Reverse PPL 则是在生成文本上训练语言概率模型，而后反过来计算参考文本的概率，概率越高则示意生成文本越多样。
3.2 基于语义
相比基于词汇的形式，基于语义能够把字面不类似而语义类似的状况也纳入考量，是一种更贴近人工评测的形式，这其中包含：dssm，利用深层语义类似模型别离将生成文本和参考文本映射到一个低维语义示意空间，并计算生成文本向量和参考文本向量的间隔；BERTscores、BERTr、YiSi 等，近年来涌现的基于预训练模型的评测办法，利用 BERT 的 embedding 示意代替 n -gram，计算生成文本和参考文本的相似性。
04 重要技术脉络
图 3. 文本写作的相干重要技术图 3 列举了文本写作畛域中局部影响力较大的相干技术。在很长一段时间里文本写作是以基于 RNN 的 Seq2Seq 模型为支流技术，如图 4 所示，其由两个 RNN 网络组成，第一个 RNN 是编码器，第二个 RNN 是解码器。模型先以循环单元将输出文本编码到隐向量，后再通过循环单元程序逐字解码，程序解码时将上一单元输入和上一单元隐向量同时作为解码器的输出。RNN Seq2Seq 生成的文本品质通常欠佳，时常伴有语法错误或语意不明的问题，次要起因是其逐字程序编码解码过程引起的误差传递和放大。
图 4. RNN Seq2Seq 模型示意图
图 5. Transformer 模型
随着 2017 年 Transformer 模型构造（见图 5）的问世，世人惊叹于其弱小的捕获超长距离依赖的特色示意能力，并且因为 Transformer 能够并行处理序列的个性，训练效率相比 RNN 也大幅晋升，于是文本写作算法钻研投入也极速地向 Transformer 歪斜，随之孕育而生了一系列的预训练模型（见表 2），时至今日曾经成为文本写作技术的支流前沿代表。下文将为读者重点一一论述。
表 2. 文本写作的相干预训练模型概述
AE= 自编码；AR= 自回归；SLM= 规范语言模型；CTR= 受损文本重建；NSP= 下一句预测；FTR= 全文重建。
前沿技术介绍
当下文本写作的支流前沿技术是从不同类型、结构组件和预训练任务中衍化的若干种预训练模型。本节内容将为读者做重点介绍。
01UniLM
UniLM 的全称是 Unified Language Model，是 2019 年微软亚洲研究院提出的生成式 BERT 模型，和传统的 Seq2Seq 不同的是，它只用了 BERT，没有 Decoder 局部。它汇合了 L2R-LM（ELMo，GPT），R2L-LM（ELMo）、BI-LM（BERT）以及 Seq2Seq-LM 几个其余模型训练的形式，所以叫 Unified 模型。
图 6. UniLM 模型概览
UniLM 的预训练分为三个局部，Left-to-Right、Bidirectional 以及 Seq-to-Seq（见图 6）。对于这三种形式，不同点只是 Transformer 的 mask 矩阵的改变而已：
- 对于 Seq-to-Seq，前一句对后一句的 Attention 被 mask，这样一来前一句只能关注到本身，但不能关注到后一句；后一句每个词向其之后的 Attention 被 mask，只能关注到其之前的词；
- 对于 Left-to-Right，Transformer 的 Attention 只关注这个词自身以及后面的词，前面的词不做关注，所以 mask 矩阵是下三角矩阵；
- 对于 Bidirectional，Transformer 的 Attention 关注所有的词，并且蕴含 NSP 工作，和本来的 BERT 一样。
在 UniLM 的预训练过程中，三种形式各训练 1 / 3 的工夫，相比原始 BERT，其增加的单向 LM 预训练增强了文本示意能力，而其增加的 Seq-to-Seq LM 预训练也使 UniLM 可能很好地胜任文本生成 / 写作的工作。02T5T5 的全称是 Text-to-Text Transfer Transformer，是 2020 年谷歌提出的模型构造，其总体思路是用 Seq2Seq 文本生成来解决所有上游工作：如问答、摘要、分类、翻译、匹配、续写、指代消解等。这个形式可能使所有工作共享雷同的模型，雷同的损失函数和雷同的超参数。
图 7. T5 思维框架
T5 的模型构造是基于多层 Transformer 的 Encoder-Decoder 构造。与其余模型的次要区别是，GPT 系列是仅蕴含 Decoder 构造的自回归语言模型(AutoRegressive LM)，BERT 是仅蕴含 Encoder 的自编码语言模型(AutoEncoder LM)。
图 8. T5 预训练指标示例
T5 的预训练分为无监督和有监督两个局部：
1. 无监督局部
无监督局部是采纳相似 BERT 的 MLM 办法，不同的是 BERT 是 mask 单个词，而 T5 是 mask 一段间断的词，也就是 text span。被 mask 的 text span 只用单个 mask 字符替换，也就是说对于 mask 后的文本而言，mask 的序列长度也是不可知的。而在 Decoder 局部，只输入被 mask 的 text span，其它词对立用设定的 <X>、<Y>、<Z> 符号替换。这样做有三个益处，其一是加大了预训练难度，显然预测一个长度未知的间断 text span 是比预测单个词更难的工作，这也使得训练的语言模型的文本示意能力更有普适性，在品质较差的数据上的微调适应性更强；其二是对于生成工作而言输入的序列就是长度未知的，T5 的预训练很好适配了这一个性；另一个益处是缩短了序列长度，使得预训练的老本得以升高。T5 所采纳的这种预训练任务也被称为 CTR（Corrupted Text Reconstruction，受损文本重建）。
2. 有监督局部
有监督局部采纳 GLUE 和 SuperGLUE 中蕴含的机器翻译、问答、摘要、分类四大类工作。外围是 Fine-tune 时把这些数据集和工作合在一起作为一个工作，为了可能实现这一点它的思路是给每个工作设计了不同的 prefix，与工作文本一起输出。举例说翻译工作，把英语的“That is good.”翻译为德语，那么训练时就输出“translate English to German: That is good. target: Das ist gut.”，而预测时则输出“translate English to German: That is good. target:”，模型输入预测“Das ist gut.”。其中“translate English to German:”便是为此项翻译工作增加的 prefix。
03BART
BART 的全称是 Bidirectional and Auto-Regressive Transformers，是 2020 年 Facebook 提出的模型构造。正如其名，它是一种联合了双向编码和自回归解码构造的模型构造。
图 9. BART 的基本原理
BART 的模型构造排汇了 BERT 的 Bidirectional Encoder 和 GPT 的 Left-to-Right Decoder 各自的特点，建设在规范的 Seq2Seq Transformer model 的根底之上，这使得它比 BERT 更适宜文本生成的场景；同时相比 GPT，也多了双向上下文语境信息。
图 10. BART 预训练采纳的[noise]
BART 的预训练任务采纳根本理念同样是还原文本中的 [noise]。BART 采纳的[noise] 具体有：
- Token Masking：和 BERT 一样，随机抉择 token 用 [MASK] 代替；
- Token Deletion：随机删除 token，模型必须确定哪些地位短少输出；
- Text Infilling：和 T5 做法相似，mask 一个 text span，每个 text span 被一个 [MASK] 标记替换。在 T5 做法根底上，同时思考了当 text span 长度为 0，此时则插入一个 [MASK] 标记；
- Sentence Permutation：以句号作为宰割符，将输出分成多个句子，并随机打乱；
- Document Rotation：随机平均地抉择一个 token，以这个 token 为核心，旋转输出，选中的这个 token 作为新的结尾，此工作训练模型以辨认文档的结尾。
能够发现相比起 BERT 或 T5，BART 在 Encoder 端尝试了多种[noise]，其起因和目标也很简略：
- BERT 的这种简略替换导致的是 Encoder 端的输出携带了无关序列构造的一些信息（比方序列的长度等信息），而这些信息在文本生成工作中个别是不会提供给模型的；
- BART 采纳更加多样的[noise]，用意是毁坏掉这些无关序列构造的信息，避免模型去“依赖”这样的信息。针对各种不同的输出[noise]，BART 在 Decoder 端采纳了对立的还原模式，即输入正确的原始整句。BART 所采纳的这种预训练任务也被称为 FTR（Full Text Reconstruction, 全文重建）
04GPTs
GPT 的全称是 Generative Pre-Training, 是 OpenAI 在自然语言解决畛域的一项极为重要的钻研。GPT 是一个循序迭代的预训练模型，其家族次要成员包含初代 GPT、GPT-2、GPT-3、InstructGPT 和现在煊赫一时的 ChatGPT 等。上面为大家逐个介绍。
4.1 GPT
图 11. 规范 Transformer Decoder（左）；GPT Decoder（右）
初代 GPT 是 2018 年 OpenAI 提出的一种预训练语言模型，它的诞生相比 BERT 更早，它的核心思想是基于大量无标注数据进行生成式预训练学习，而后在特定工作上进行微调。正因其专一于生成式预训练，GPT 的模型构造只应用了 Transformer 的 Decoder 局部，其规范构造蕴含了 Masked Multi-Head Attention 和 Encoder-Decoder Attention（图 11 左）。GPT 的预训练任务是 SLM（Standard Language Model，规范语言模型），即基于上文 (窗口) 预测以后地位的词，因而要保留 Mask Multi-Head Attention 对词的下文遮挡，避免信息泄露。因为没有应用 Encoder，所以 GPT 的构造中去除了 Encoder-Decoder Attention（图 11 右）。
4.2 GPT-2
初代 GPT 的问题是微调上游工作不具备迁徙能力，Fine-Tuning 层是不共享的，为了解决这个问题，2019 年 OpenAI 又推出了 GPT 家族新的成员：GPT-2。GPT- 2 的学习指标是应用无监督的预训练模型做有监督的工作，与初代 GPT 相比，GPT- 2 有如下改变：1）模型构造去除 Fine-Tuning 层，所有工作都通过设计成正当的语句给语言模型进行预训练，训练需保障每种工作的损失函数都收敛；2）Layer Normalization 的地位挪动到了每个 sub-block 输出的中央，在最初一个 Self-Attention 前面也加了一个 Layer Normalization；3）采纳了修改的初始化办法，在初始化时将残差层的权重缩放到 1⁄√N 倍，N 为残差层的数量；4）Vocabulary 规模扩大到了 50257，输出的上文大小由 512 扩大到了 1024，应用更大的 batch_size 训练。
GPT- 2 的多任务训练使其领有更强的泛化能力，当然这同时也是得益于其用了多达 40G 的训练语料。GPT- 2 的最大奉献是验证了通过海量数据和大量参数训练进去的模型有迁徙到其它类别工作中而不须要额定训练的能力。
4.3 GPT-3
2020 年 OpenAI 在 GPT- 2 的根底上又进一步推出了 GPT-3。GPT- 3 的做法更加简略粗犷，模型整体构造和训练指标与 GPT- 2 根本无异，但 GPT- 3 把模型尺寸增大到了 1750 亿参数量（比 GPT- 2 大 115 倍），并且应用 45TB 数据进行训练。得益于惊人宏大的参数量，GPT- 3 能够在不做梯度更新的状况下应用零样本、少样本进行学习预测。
4.4 InstructGPT
超大模型的 GPT- 3 在生成工作的成果上的确达到了空前的成果，特地是零样本和少样本场景下成为最佳，但 GPT- 3 面临了一项新的挑战：模型的输入并不总是有用，它可能输入不实在、无害或者反映不良情绪的后果。这个景象是能够被了解的，因为预训练的工作是语言模型，预训练的指标是在输出的限定下使输入的后果为自然语言的可能性最大化，而这其中并没有“用户须要平安、有用”的要求。为了解决这个问题，2022 年 OpenAI 基于 GPT- 3 发表了一项重要钻研：InstructGPT，引入从人类反馈中强化学习 (RLHF，Reinforcement Learning from Human Feedback) 的技术。
图 12. InstructGPT 操作过程
InstructGPT 模型上根本和 GPT- 3 没有太大变动，次要变动的是训练策略，总体思路是标注人员对调用示例提供示范答复，而后用这些数据在模型上进行微调，从而使模型可能做出更加适合的答复。
其训练步骤分为三步：
- 收集示范数据，用监督训练的形式训练一个模型。从 prompt 数据集中采样一部分进行人工标注，而后将其用于 GPT- 3 的 Fine-Tune；
- 收集比照数据，训练一个回报模型。采样一批数据输出第一步 Fine-Tune 之后的模型，标注人员对模型的输入依照优劣进行排序，而后用这些数据训练一个回报模型；
- 用强化学习来优化模型的输入。应用第二步失去的回报模型来对模型的输入进行打分，将得分作为强化学习的处分，基于 PPO（Proximal Policy Optimization）算法来微调生成模型。
由此产生的 InstructGPT 在遵循指令方面，远比 GPT- 3 要好得多，同时 InstructGPT 也较少地凭空捏造事实，无害输入的产生出现小幅降落趋势。
4.5 ChatGPT
当初让咱们回顾本文的结尾，那个为咱们精确并有条理地解答了“什么是智能写作”的 AI 模型——它就是 ChatGPT，OpenAI 于 2022 年 11 月 30 日正式公布了这一项最新钻研。ChatGPT 应用与 InstructGPT 雷同的办法，应用来自人类反馈的强化学习（RLHF）来训练该模型，改良点在于数据收集的办法（未具体公开）。
图 13. ChatGPT 操作过程
能够看到，ChatGPT 的训练流程与 InstructGPT 是统一的，差别只在于 InstructGPT 是在 GPT- 3 上做 Fine-Tune，而 ChatGPT 是在 GPT-3.5 上做 Fine-Tune（GPT3.5 是 OpenAI 在 2021 年四季度训练的 InstructGPT 模型，在主动编写代码方面有较强的能力）。
纵观从初代 GPT 到 ChatGPT 的倒退，OpenAI 证实了用超海量数据训练超大模型，这样失去的预训练语言模型就足以应答自然语言了解和自然语言生成的各种上游工作，甚至不须要微调，零 / 少样本一样可能应答。而在输入的平安可控性上，OpenAI 给出的答案是基于人力的强化学习：雇佣了 40 名标注人员全职工作近 2 年（标注工夫官网未公开，笔者仅从 GPT- 3 到 ChatGPT 大概两年半工夫距离揣测，因为强化学习须要一直迭代），为模型的输入进行标注反馈，由这些数据方可进行强化学习，领导模型优化。Transformer+ 超海量数据 + 超大模型 + 宏大人力 + 强化学习，造就了现在景象级的 ChatGPT。
达观数据的智能写作利用实际
写作始终是企事业单位的重要工作内容，是公司数据资产的次要载体，是建设企业常识中台的重要基石。基于此，达观数据以 NLP 技术综合业务需要，全力投入研发并打造了两款智能写作产品——达观智能写作助手和达观智能文档写作。
01 达观智能写作助手
达观智能写作助手是一款 AI 写作工具，以 AI 技术综合写作场景需要，为内容创作和版式调整赋能，实现全场景的精彩表白，晋升写作效率和品质，成为写作者的全能高效助手。取代传统格局刷：高自由度排版工具，批量操作效率翻倍疾速扫描全文，剖析文章构造，辨认出段落的类型，点击即可一键利用对立款式。达观智能写作助手将根据文档及段落类型，举荐规范款式，用户也能够创立自定义的款式库。
图 14. 达观智能写作助手智能款式排版
灵感激发：启发创作灵感对于各类丰盛场景的自在写作，当遇到写作思路瓶颈时，达观智能写作助手借助内置的大语言模型算法能力，将依据已有段落的了解，主动续写出若干种最贴合的下文，激发写作人创作的灵感。
图 15. 达观智能写作助手依据上文段落主动续写
海量素材：AI 据意查问达观智能写作助手内置 30 万 + 条素材，涵盖公文、名人名言、古诗词等类型。反对依据用户输出的想法、需要等描述性语句，通过智能剖析搜寻最适宜的写作素材。
图 16. 达观智能写作助手反对据意查问
全面校对：疾速发现文章谬误，保障文档品质达观智能写作助手通过拼写查看、语法检错和语法纠错，严格校验 100 多种常见谬误，不放过任何过错，确保文章高品质。
图 17. 达观智能写作助手全面校对中文常见谬误
达观智能写作助手可能为各行各业的人员带来微小的价值：新媒体经营：公众号、小红书、新闻稿等文案创作；办公室白领：政府、企事业单位员工等均可利用达观智能写作助手疾速实现公文、报告、合同等文档书写；创意写作者：续写提醒，激发创作灵感，实现优质创作。
02 达观智能文档写作
达观智能文档写作，是一款次要实现债券、基金、合同等各类业务文档的智能写作产品，实现从文档的智能审阅到智能写作的高度逾越。
开箱即用：内置多种成熟模板针对市面共性需要，达观智能文档写作产品已内置渎职调查报告、各板块招股说明书、各债券类型的债券募集说明书、发行布告、继续督导核查报告等数十种文档模板，并反对用户依据业务需要修改及自定义。
图 18. 达观智能文档写作预制模板库
模板自定义：高度灵便的模板配置形式达观智能文档写作可反对用户自定义写作模板，特地针对一二级市场及其他罕用合同文档写作的需要，独创了实用多数据、多表格的模板配置形式，反对模板中表格行数 / 列数主动判断，数据占比、变动等信息主动计算，多数据交融汇总等性能，以方便快捷地实现各类文档的便捷模板定义及写作。
图 19. 达观智能文档写作反对灵便的模板配置
数据起源：数据库、非结构化数据均可利用达观智能文本写作不仅反对接口对接、数据库对接的模式主动从内部数据源中获取数据进行主动填充。同时，得益于达观成熟的文本理解能力，反对从非结构化文本中提取结构化信息，包含实体字段、组合字段、元素字段（图、表、段落、题目等）进行主动录入。
以债承业务为例，零碎可依据天眼查、企查查、WIND 等第三方业务零碎，及企业外部数据库，如各类合同、往期财务数据、专利证照等信息，依据用户自定义的模板信息实现文档写作工作，并依据 NLP 技术润色加工行文构造，生成适宜行业写作格调及格局的文档。
图 20. 达观智能文档写作反对丰盛的数据起源
智能写作：AI 辅助非模板文档写作针对非模板文档写作需要，达观智能写作利用行业最新算法技术实现摘要主动生成、主动续写、实时联想等性能。通过机器联合人工便捷实现各类文档写作。
图 21. 达观智能文档写作 AI 辅助高度智能化
后果复核：多功能协同保障写作品质针对债承、股权、投研及法务财务等用户对数据精确性、文本准确性的需要，达观智能写作可与智能文档审核、智能文档比对性能协同。写作后果实现后可由 AI 对其数据逻辑性与一致性、语义标点规范性做审核。从细节动手，以人性化的交互设计升高用户人工复核老本，充沛满足用户在线晦涩编辑超长文档的需要。
图 22. 达观智能文档写作多功能协同，保障写作后果准确性
目前，达观智能文档写作产品已在头部券商、基金公司部署利用。将来产品将继续积攒，为用户提供数字化智能转型、建设企业常识中台的便捷化、智能化利器。
挑战与瞻望
AIGC 用于智能写作获得的停顿的确令人惊叹，然而咱们也不得不意识到当下仍然存在许多挑战，包含：
- 不足创意：智能写作的次要挑战之一是 AI 算法很难生成真正原创和有创意的内容。尽管人工智能能够产生语法正确且连贯的高质量内容，但它可能不足真正创造性写作所必须的人情味和洞察力；
- 对上下文的了解无限：智能写作的另一个挑战是，AI 算法可能很难齐全了解给定状况的上下文细微差别。例如，人工智能可能无奈精确解读书面内容中的语气、情感或文化差异；
- 偏见问题：AI 算法的好坏取决于它们所训练的数据，如果训练数据有偏差，人工智能的输入也会有偏差。这可能会导致道德问题，例如刻板印象和歧视的长期存在；
- 高老本落地：开发和落地 AI 算法和零碎十分低廉，以目前获得不错停顿的技术来说广泛须要宏大的数据、算力乃至人工反对，这将对面向工业的智能写作落地造成挑战
总体而言，智能写作 AIGC 仍有极大的后劲尚未充分发挥，将来的钻研工作也会着重在如何克服上述的挑战。将来可能会在融入人工意见和强化学习的根底上，进一步通过设计相干维度的量化指标领导模型的优化。随着成果的日益加强，置信会有更多钻研工作投入到智能写作的小样本学习和模型压缩技术上，升高落地老本，使得智能写作产品可能服务到每个人的日常工作中。
作者：达观数据 徐雪帆
考文献[1] Lewis M, Liu Y, Goyal N, et al. Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension[J]. arXiv preprint arXiv:1910.13461, 2019.[2] Dong L, Yang N, Wang W, et al. Unified language model pre-training for natural language understanding and generation[J]. Advances in Neural Information Processing Systems, 2019, 32.[3] Li X L, Thickstun J, Gulrajani I, et al. Diffusion-LM Improves Controllable Text Generation[J]. arXiv preprint arXiv:2205.14217, 2022.[4] Li J, Tang T, Zhao W X, et al. Pretrained language models for text generation: A survey[J]. arXiv preprint arXiv:2105.10311, 2021.[5] Zhang H, Song H, Li S, et al. A survey of controllable text generation using transformer-based pre-trained language models[J]. arXiv preprint arXiv:2201.05337, 2022.[6] Liu Y, Gu J, Goyal N, et al. Multilingual denoising pre-training for neural machine translation[J]. Transactions of the Association for Computational Linguistics, 2020, 8: 726-742.[7] Raffel C, Shazeer N, Roberts A, et al. Exploring the limits of transfer learning with a unified text-to-text transformer[J]. J. Mach. Learn. Res., 2020, 21(140): 1-67.[8] Zhang Z, Han X, Zhou H, et al. CPM: A large-scale generative Chinese pre-trained language model[J]. AI Open, 2021, 2: 93-99.[9] Xue L, Constant N, Roberts A, et al. mT5: A massively multilingual pre-trained text-to-text transformer[J]. arXiv preprint arXiv:2010.11934, 2020.[10] Montesinos D M. Modern Methods for Text Generation[J]. arXiv preprint arXiv:2009.04968, 2020.[11] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in neural information processing systems, 2017, 30.[12] Ouyang L, Wu J, Jiang X, et al. Training language models to follow instructions with human feedback[J]. arXiv preprint arXiv:2203.02155, 2022.[13] Radford A, Narasimhan K, Salimans T, et al. Improving language understanding by generative pre-training[J]. 2018.[14] Radford A, Wu J, Child R, et al. Language models are unsupervised multitask learners[J]. OpenAI blog, 2019, 1(8): 9.[15] Brown T, Mann B, Ryder N, et al. Language models are few-shot learners[J]. Advances in neural information processing systems, 2020, 33: 1877-1901.[16] ChatGPT: Optimizing Language Models for Dialogue. https://openai.com/blog/chatgpt/