共计 3466 个字符，预计需要花费 9 分钟才能阅读完成。
随着人工智能的倒退和技术提高，越来越多的企业开始应用人工智能技术做效率的晋升和业务成果的晋升，升高企业老本，加强企业竞争力。本文将基于哈啰 AI 平台的能力，以接入普惠工单零碎主动转派为例，讲述如何通过算法能力赋能后端研发提效。
建模流程
整个模型建模流程次要须要四大步：特色解决、模型训练、模型评估、模型部署。并且模型还须要进行一直的迭代能力保障模型成果。
- 特色解决
包含特色存储、特征选择、特色荡涤、特色加工等 - 模型训练
包含模型根底环境、特色预处理、超参调优、训练减速等 - 模型评估
包含超参评估、成果评估、耗时评估等 - 模型部署
包含 TF 模型、Pytorch 模型、PMML 模型、GPU 模型等
AI 平台计划
特色解决
包含特色存储、特征选择、特色荡涤、特色加工等。
上面以特色存储和特色加工为例，举例如何通过页面，最简化反对特色的存储和加工。
特色存储
特色平台目前反对在线特色的存储，简略来说用户能够通过在 AI 平台点通过页面配置化的形式，将 hive 表数据或者 kafka、rocketmq 数据，同步到 hbase、hedis、redis 等在线存储中，也反对将数据存储到 rocksdb 进行本地化存储。如下图所示：
特色加工
特色荡涤的例子如下，AI 平台先将局部特色工程逻辑算子化，如下图 Normalizaiton 为归一化算子。
落为算子后，后续自动化建模就能够间接在特色工程模块抉择 Normalization 算子，这样在模型进行训练之前就会对特色进行归一化解决。
模型训练
包含特色预处理、镜像治理、工作空间作业建模、超参调优、分布式训练、自动化建模。
下文以自动化建模为例，讲述如何通过配置化的形式接入。
自动化建模
在自动化建模模块，先通过模型品种和模型分类，抉择适合的模型类别。
抉择 AutoML 模式，则会主动帮用户抉择模型。下图抉择了专家模式，则须要用户本人抉择深度学习的多分类模型。
如下图所示，抉择了 IntentRecognitionNNIAndRay 模型，该模型是用 ALBERT 写的用意辨认模型。抉择用意辨认模型后，能够抉择特色的初筛、数据处理、特征选择逻辑，在自动化训练前进行特色的解决，下图展现了特色解决逻辑，能够对特色进行特色初筛、特色加工、特征选择。
模型评估
超参搜寻可视化、模型多版本 AB、模型主动评估、模型手动评估、模型性能诊断、模型自定义评估逻辑等。
下文展现了 AI 平台实现的超参搜寻可视化和模型评估。
超参搜寻可视化
AI 平台模型训练接入了 NNI 框架，将训练时的超参搜寻可视化，这样用户在训练实现后能够通过超参搜寻的散布判断模型是否存在问题，或者能够优化超参散布，从而使模型的成果更好。如下图所示：
模型主动评估
通过自动化建模后，模型抉择手动评估或者主动评估。以主动保留为例，能够在评估时抉择评估的指标值，以及评估规定。后续模型训练后即可通过评估后果进行模型主动替换。
模型部署
反对 TF 模型、Pytorch 模型、PMML 模型、GPU 模型。AI 平台模型反对 TensorFlow 模型、PMML 模型、Pytorch 模型、GPU 模型，还反对 Faas 化部署，如下所示，能够抉择不同的类型，将模型文件上传，AI 平台会将模型部署到对应的利用集群中。
用意辨认算法
简略来说就是通过算法，辨认用户的需要，即明确用户想做什么。
用意辨认是人机对话形成的要害，而用户用意须要一直的对话能力真正的了解。
用意辨认场景
用意辨认的利用场景对话零碎、搜索引擎等。用意辨认例子搜索引擎很好了解，举例来说，你从谷歌输出了“八角笼”，用意辨认会依据以后的热度和你的习惯进行辨认，比方你是一个电影迷，会辨认到你是想理解八角笼中的电影。
对话零碎：举例来说，你输出小米，零碎会至多有两种语义辨认进去，一种是食粮小米，一种是小米品牌，而当你持续输出雷军，零碎就理解你须要晓得的是小米品牌。
BERT
BERT 是自编码语言模型，通过 Masked LM（随机屏蔽）和 Next Sentence Prediction（下一句预测）两个工作来训练该模型。
Masked LM
该思维来源于完形填空，简略来说，在一句话中，随机抹去这句话的一个或者多个词汇，要求依据残余的词汇进行预测抹去的词别离是什么。如下图所示：bert 别离隐去了一句话中的两个字，而后让模型进行“完形填空”主动补全。
益处：这样做迫使模型更多依赖上下文信息去预测，赋予了模型肯定的纠错能力。
毛病：每批次只有 15% 的标记被预测，模型须要更多的预训练步骤来收敛。
Next Sentence Prediction
判断第二句话是否在第一句话的前面。该工作与 Masked LM 工作相结合，让模型可能精确的了解和刻画语句或者文章的语义信息。
如下图所示：输出两句话，让模型可能判断是否为间断的句子，一个是正确的间断句子，一个是谬误的间断句子。
ALBERT
BERT 的改良版本很多，而 ALBERT 全称为 A Lite BERT，是轻量化的版本。ALBERT 采纳了两种缩小模型参数的办法，让其比 BERT 所需内存空间更小，并且晋升训练速度。
原来的 BERT 因为模型参数过多，并且模型太大，导致大量数据容易过拟合，ALBERT 则能够反对更少的数据，达到更好的成果。
普惠场景接入
普惠接入 AI 平台的场景是一个客服工单主动转派场景。该场景基于用意辨认的 ALBERT 算法（因为普惠工单零碎训练数据较少，因而 ALBERT 是很适合的模型），将客服客诉问题进行打标和打分，对合乎分数要求的场景进行主动的转派和主动问题勘误。
原流程
原流程步骤
原流程如下图右边所示：用户在哈啰 app 提交客诉 -> 客服人员判断具体业务线 -> 客服人员转派工单到打车业务线 -> 打车后端值班同学转派工单 -> 开发解决问题 -> 客服人员确认。
该流程中，很重要的 2 步是打车值班同学转派工单和开发解决问题。
工单转派遇到的问题
以打车后端值班同学转派工单流程为例：因为日常客诉较多，因而每周会统一安排的一个开发进行值班，而开发人员每个人做的方向是不一样的，且程度有高有低，因而很多工单会转派谬误，或者须要征询对应的同学后进行转发，不仅准确率不高，且效率较低。
工单解决遇到的问题
开发解决问题也有和转派相似问题，因为开发人员的程度不统一和做的方向不统一，因而解决问题的人非常扩散，且解决周期也各不相同。因而最好的解决办法是，工单能通过零碎主动转派对应的人，且问题能够通过零碎主动勘误，这样值班人员不须要对该类问题进行工单转派，也不须要独自有人进行问题解决，零碎可能齐全进行主动的解决。
新流程
新流程如下图左边所示，次要变动为将打车值班同学转派工单和开发解决问题两步进行了自动化解决。
主动转派和主动解决计划
原计划打车侧的原计划为关键词匹配，即依据客服的形容，通过关键字进行匹配，该计划的准确率很低（准确率有余 10%）。
算法计划
主动转派逻辑
业务开发对不同的形容进行打标，每个标签对应不同的开发。举例如下：右边客服零碎的形容，右侧是给该形容打的标签。而每一个标签前面都会对应相应的解决同学。
算法依据客诉形容，推理出该形容对应的标签和概率，而后对系统留下概率超过肯定值的分类（线上为 0.7），进行转派。如下图所示：
主动解决逻辑
依据标签的后果，对局部标签（配置化）进行调用接口自动化解决。
接入流程
新场景
新场景接入流程如下所示（新积淀算子流程）：
需要新增：后端研发依据业务场景给 AI 平台提需要
需要评估：AI 平台会依据用户需要评估可行性，并判断是否能够复用已有算子（模型）
模型研发：AI 平台进行模型研发，如模型过于简单，则 AI 平台会协调算法进行模型研发
模型评估：AI 平台进行成果评估，如模型成果评估通过，会积淀为算子，如不通过，会进行模型的剖析和修改
算子积淀：AI 平台同学依据模型积淀为算子
文档积淀：AI 平台会将该算子的应用计划和接入积淀文档
用户接入：后端研发依据接入文档进行模型的在线推理的接入
复用算子场景
新场景接入流程如下所示（复用算子流程）：
需要新增：后端研发依据业务场景给 AI 平台提需要
需要评估：AI 平台会依据用户需要评估可行性，并判断是否能够复用已有算子（模型）
用户接入：后端研发依据接入文档进行模型的在线推理的接入
总结
整体来说，AI 平台目前通过配置化的形式反对特色的存储，并通过算子库的形式，将特色的解决逻辑和算法算子化，这样用户齐全无需算法的常识就能进行自主接入。并通过自动化工作流，实现了模型的主动训练、主动评估和主动替换。而有算法教训的同学，能够依据超参调优和超参调优可视化进行模型的调试和训练。目前基于 EasyML2.0 接入的场景上线大部分场景成果超过预期。
（本文作者：柳健强）