共计 5040 个字符，预计需要花费 13 分钟才能阅读完成。
摘要：在第七届寰球软件大会上，华为软件开发工程师禹继波和开发者聊了聊华为云官网的智能化实际，次要集中在内容经营的内容生产、内容解析、内容质检、内容散发、内容生产和用户反馈等 6 个流程，以及在此过程中遇到的业务痛点。
本文分享自华为云社区《华为云官网智能化实际的五大要害动作【寰球软件大会技术分享】》，原文作者：技术火炬手。
互联网每时每刻都在产生海量的内容，来自睿亚的报告显示：中国互联网 60 秒内产生了 420 万条语音音讯，830 万条共享视频，416 万次搜寻查问，165 万次微博拜访。
面对如此多的内容，咱们应该如何做好网站内容经营呢？
在第七届寰球软件大会上，华为软件开发工程师禹继波和开发者聊了聊华为云官网的智能化实际，次要集中在内容经营的内容生产、内容解析、内容质检、内容散发、内容生产和用户反馈等 6 个流程，以及在此过程中遇到的业务痛点。
并着重介绍了华为云如何利用 AI 算法和模型提供自动化的能力，升高人力老本，晋升了内容品质和内容散发的效率。
如何判断内容品质，高效内容散发的要害又是什么？
数字化时代，流量是网站内容经营的要害，而高质量的内容和高效的内容散发带来的良好体验是流量晋升的根底。一个负面的例子是印度媒体在报道性侵事件中误用了普京的照片，侧面的例子是新闻、电商、视频类网站利用举荐和搜寻进行内容散发。
那华为云官网作为内容网站是怎么做的呢？
首先介绍下华为云内容生命周期和内容经营的流程，华为云官网内容经营共分为 6 个阶段：内容生产、内容解析、内容质检、内容散发、内容生产和用户反馈。官网的页面、文档、音视频图片首先进行内容解析和了解，通过内容审核后由经营人员散发到现网，最终用户在华为云官网进行内容生产后将相干意见反馈到内外部平台。
在内容经营过程中，咱们的痛点蕴含以下局部：
- 大量的多媒体（音视频、图片等）内容须要深入分析语义，能力判断内容品质，进行无效的散发，耗时耗力；
- 内容公布数据量大，更新频繁，大量的内容质量检查耗费的人力大，效率低；
- 传统的经营配置的形式，不能满足简单客户群体的个性化需要，容易升高用户趣味，导致用户散失；
- 最终用户的拜访体验，不能失去无效的采集、剖析和闭环，不利于产品体验的疾速改良。
针对以上问题咱们次要通过智能化的计划来解决各个阶段的业务痛点，包含：
- 在内容解析环节，利用 OCR、ASR、NLP 等技术主动提取内容的结构化信息，升高人工成本；
- 在内容审核环节，利用 NLP 技术和华为云 Moderation 服务，进行机器审核；
- 在内容散发环节，利用内容的结构化（TDK、标签、类别等）信息，以及智能举荐、智能搜寻等相干技术晋升内容散发的效率和准确性，晋升用户体验；
- 在用户反馈环节，利用 NLP 相干技术进行情感剖析和声音分类，及时处理、闭环，并继续造成产品改良倡议。
上面具体介绍华为云智能经营相干实际。
官网智能化经营实际的要害动作
首先介绍一下华为云官网智能经营的整体架构，架构比较简单，蕴含几个要害分层。
首先最底层为根底服务层，咱们所有业务都是基于华为云服务构建，包含 AI 相干的 OCR、ASRC、NLP、RES、ModelArts，大数据相干的 DLI、MRS 等，以及根底的 SQL 和 NoSQL 存储服务；在根底服务层下面的是外围数据层，包含用户画像、行为数据，物品信息等数据；中间层是咱们的的特色工程和算法模型层，算法模型次要集中在 NLP、智能举荐、智能搜寻相干算法。再下层咱们构建了服务组件用于撑持不同的业务场景，包含画像和标签组件、策略管理排序组件、AB 测试和日志采集组件等；最顶端的下层利用场景次要有千人五面、举荐、搜寻、舆情和智能问答等。
我将重点介绍智能化实际的一些要害动作。
要害动作 1：内容解析
在内容解析阶段，咱们利用华为云的 OCR 和 ASR 技术提取图片和音视频的文本，便于下一步自动化的内容审核；同时咱们利用 NLP 相干技术提取文本的关键字、摘要、标签、分类、主题等结构化信息，用于搜索引擎优化和内容散发阶段的模型训练。
要害动作 2：内容质检
内容通过文本提取和语义了解后，咱们借助自动化伎俩进行内容质检，包含文本纠错、内容审核和规范性查看。其中文本纠错提供了基于拼音的纠错、基于 N -Gram 子串的接错、基于语言模型的纠错的能力，因为业务须要定期的更新关键词、语料，并进行模型定时更新。
内容审核对接了华为云的 Moderation 服务，它具备文本、图像、视频的审核能力，业务只有定期的更新敏感词库即可。除此之外，还有规范性查看，包含 404 死链、TDK 信息、货币单位等，采纳的计划次要是爬虫服务和规定引擎。
要害动作 3：内容散发 - 智能举荐
在内容散发阶段，咱们次要引入了智能举荐和智能搜寻，智能举荐是通过智能化的伎俩，基于用户物品画像，以及用户行为预测用户趣味，实现内容找人、精准举荐，晋升转化率。
华为云智能举荐的零碎架构如下：基于离线的 OBS 数据，采纳 DLI 的离线解决抽取用户物品画像、用户行为信息，采纳 DLI 的离线解决进行特色工程、召回和排序模型训练。训练后公布到提供在线推理能力的 ModelArts 平台。
同时咱们也反对实时的举荐能力，业务通过 DIS 通道上传用户和物品信息并实时更新用户和物品画像，再由 DIS 通道对接实时行为，进行用户趣味标签更新，并召回实时举荐后果集。最初，用户拜访官网页面时，通过申请 ModelArts 接口放回排序后的举荐内容。
要害动作 3：内容散发 - 举荐算法
业界的举荐算法绝对曾经比拟成熟，咱们采纳了罕用的召回和排序算法，召回局部包含：协同过滤和趣味匹配，排序局部次要采纳了 LR 和 DeepFM。其中 LR 的长处是模型简略、高效、计算量小，毛病是无奈解决多个特色之间的关系。DeepFM 的长处是：交融了低阶和高阶的特色，特色越多越精准。
最终，智能举荐为业务带来不少晋升成果，比方内容的散发效率由小时级晋升到分钟级，内容推送的覆盖率晋升到 90%+。
除此之外，官网产品、流动举荐的点击率、注册和购买转化率以及社区首页博客举荐的点击率都失去了晋升。
在内容散发的智能举荐上，咱们也总结了几点心得体会：
- 对于数据量小的业务场景，优先选择模型简略、解释性强的算法上线，疾速优化并通过 AB 测试疾速验证算法的成果；
- 充分利用用户的近线和搜寻行为，因为近线代表着用户的实时趣味，搜寻个别可能代表用户的内容述求，对于业务的指标晋升会比拟好；
- 在举荐场景中，没有任何算法是万能的，须要联合场景、联合用户和业务特点和数据分析的后果，抉择适合的算法。
要害动作 4：内容散发 - 智能搜寻
智能散发另一个要害措施是智能搜寻，从数据统计和右侧热力求剖析得出，用户搜寻后果更加关注结构化的卡片局部，以及排名靠前的文章，越往后关注度越低。因而咱们搜寻优化次要集中在以下几个方面：1. 卡片智能召回；2. 搜寻召回优化；3. 搜寻排序优化。
卡片智能召回
在卡片智能召回局部，咱们次要利用 FastText 模型，预测用户搜索词对应的卡片类别（文本分类）。其中输出层是组成 query 的单词的向量，输入层是 softmax 层，次要输入预测的卡片和概率。
同时，咱们对暗藏层做了构造优化，原构造采纳叠加均匀的形式，尽管计算速度快，然而存在信息失落，因而将暗藏层改为拼接后全连贯 embedding 的形式。
基于深度语义模型 RNN-Attention-DSSM 的召回优化
咱们利用 RNN-Attention-DSSM 模型进行搜寻召回优化，传统的 ES 查问都是基于关键词匹配的查问召回，对于关键词不匹配然而语义统一的无奈召回。DSSM 模型通过 Query 和 Doc 的海量曝光点击日志，用 DNN 把 Query 和 Doc 表白为低维语义向量，再通过 cosine 间隔来计算两者的语义向量间隔，最终训练出语义类似度模型。RNN-Attention-DSSM 则是对 DSSM 的进一步优化，通过 RNN 和 Attention 机制思考了语句的上下文特色。
RNN-Attention-DSSM 模型如下：最上层是典型的 DSSM 层，依据查问和正向、负向文档的向量间隔计算语义类似度，并进行 softmax。训练的指标是使得查问下正向文档的概率最高。下方左侧是个典型的 GRU 网络，右侧是典型的 Self-Attention 模型。
咱们的训练数据如下：正样本为 Query 点击的 Doc，负样本是从 Query 未点击的 Doc 中随机抽取，正负样本比例为 1:4。Query 输出是用户查问内容，Doc 输出是档题目 + 书籍名。
基于学习排序算法 Ranknet 的排序优化
同时咱们利用 Ranknet 模型对搜寻召回后果进行排序优化，将相关性高的 doc 放在靠前的地位，进步搜寻后果准确性和用户体验。Ranknet 模型属于 pairwise 办法，不关怀某个 doc 与 query 的相干水平的具体数值，而是将所有的 doc 排序问题转化为求解任意两个 doc 的先后问题。即：应用 doci 比 docj 更相干、docj 比 doci 更相干以及两者相干水平相等，共三个类别，并别离应用 {1, -1, 0} 作为对应的类别标签。
如上图，Ranknet 算法流程为：左侧依据用户的查问和召回的文章提取特色，而后由一个 DNN 网络计算出每个文档的分词，再将文档的分值两两求差值，之后通过 sigmoid 函数将数值束缚在 (0,1) 之间。
最右键标注数据，以后采纳的是每篇文档的点击次数，将文档的点击次数进行两两比拟，小的为 -1，相等的为 0，大的为 1。而后再将比拟值进行线性化，将值缩放到 [0,0.5,1] 的方位。模型训练的指标是将模型得出的比拟值和标签数据两两比拟的值尽量靠近，模型训练采纳的是穿插熵损失函数。
咱们智能搜寻也带来了不错的成果，无论是卡片智能召回，还是排序优化，都晋升了 Top1000 和 Top5000 的搜寻点击率
下一步咱们打算是首先进一步晋升排序模型离线指标，依据业务了解和特征选择丰盛特色集，找出更多与相关性相干的特色；其次是辨别长短词查问，针对短查问构建独自的训练模型，晋升短查问语句排序准确性；最初是基于 NLU 进一步开掘用户的搜寻用意，解决用户搜寻用意不明确的问题。
要害动作 5：体验闭环 - 情感剖析和声音分类
对用户体验问题的剖析和改良，是产品体验继续改良的重要形式。咱们次要利用 NLP 技术剖析用户情感，并对体验问题进行分类和散发解决，相干逻辑视图如下：
内外部声音接入后，通过数据去重和荡涤解决后存入数据库中，再由 NLP 等能力进行情感剖析和声音分类：对于负面声音及时收回舆情告警，对于产品的体验问题和需要别离通过 Bug 单和需要单跟踪和闭环。同时咱们也有对应的经营治理平台进行舆情配置、重点舆情跟踪、情感反馈和看板数据出现。这一块采纳的模型也比较简单：底层是一个 Bert 的预训练模型，上游外接了一个分类模型。
最终，咱们的成果数据如下：
1、负面情感剖析的准确率达到 95%+；
2、情感剖析的工作量极大升高，人力数量缩小；
3、负面情感解决的效率由小时级晋升到分钟级；
4、依据体验问题分类，推动云服务实现 50+ 无效改良倡议闭环。
心得体会是：1、类别定义尽量明确、易辨别，缩小二义性；2、标注语料小批量高频率提供，抽样质检，准确率低于 95% 打回从新标注。
工程化实际总结
咱们的工程化实际比较简单：基于华为云 ModelArts 一站式开发平台，构建数据处理、模型训练、模型治理、部署的能力，并基于 DGC 的定时调度，构建模型继续训练和公布的能力。
为了让内容经营更加智能，咱们以后正在做的还包含：
- 基于华为云 NLP 盘古大模型预训练的能力，优化文本分类和信息提取的准确性；
- 依据华为云产品关键词和新的性能个性，利用 AI 算法智能生成文章内容；
- 基于内容深度语义开掘和结构化信息，建设华为云内容的关联关系，构建内容的对立生命周期治理，并基于关联关系构建常识图谱，进行智能举荐和搜寻；
- 基于页面视觉、信息含量和语义深度的多任务文章品质打分，晋升内容品质。
福利
理解华为云官网智能化实际的要害措施后，大家是否有播种或者有问题想交换呢，欢送在原文评论区留下你的问题或感想，咱们将抽取 3 条，请专家与你 1V1 交换（原文传送门在此），并且送出开发者大礼包一份。
本次，还有两位华为的专家给大家带来网站高可用保障计划和 前端低代码实际 的分享，他们也答复了开发者关怀的问题，例如网站高可用保障的最佳计划，低代码平台的选型等等。欢送扫码观看视频。
最初，附上华为前端研发工程师郭晓在本次寰球软件大会上的技术分享 PPT，点击【华为云官网智能化实际的五大要害动作】可在文末下载查看。
点击关注，第一工夫理解华为云陈腐技术~