关于算法:算法测试探索与实践

本篇将分享，算法测试团队在日常的测试工作中，摸索与积攒的算法测试教训。将会依照以下目录构造进行分享介绍。

机器学习根底简介

大家在学习算法测试之前，首先须要对机器学习基础知识，有一个初步的理解，在此将从机器学习分类，哈啰算法利用场景，要害术语，算法研发步骤，四个维度进行介绍。

机器学习分类

机器学习算法，个别分为：监督学习，无监督学习和深度学习。

监督学习

监督学习，从给定的一组输出 x 输入 y 的训练集中，学习将输出映射到输入的函数（如何关联输出和输入），且训练集中的数据样本都有标签（Label）或指标（Target），这就是监督学习。

监督学习个别应用两种类型的指标变量：标称型和数值型。标称型指标变量的后果只在有限目标集中取值，如真与假、动物分类汇合 {匍匐类、鱼类、哺乳类、两栖类}；数值型指标变量则能够从有限的数值汇合中取值，如 0.100、42.001、1000.743 等。数值型指标变量次要用于回归剖析。

无监督学习

无监督学习，无监督学习和监督学习最大的区别就是无监督学习的训练数据没有标签。

在无监督学习中，将数据汇合分成由相似的对象组成的多个类的过程被称为聚类；将寻找形容数据统计值的过程称之为密度估计。

深度学习

深度学习，是一种试图应用由多重非线性变换形成的多个解决层，对数据进行高层形象的算法。它的特征提取并不依附人工，而是机器主动提取的。

哈啰算法利用场景

在哈啰，算法根本利用在公司的所有业务场景中，如：

• 智能调度（单车，助力车和红包车的车辆调度，助力车电池换电调度，算法负责调度工作生成，工作派发）
• 营销算法（波及到两轮智能定价 L3，首页 Banner 个性化定制，智能权利等）
• 位置服务（波及两轮 & 四轮业务的定位服务，北极星，超区判断，蓝牙嗅探 & 反嗅探）
• 资产顾全（波及单车，助力车预失联，用户报障，超时未关锁等）
• 司乘生态（波及司机乘客订单匹配，奖励金，完单概率计算，接单工夫预估等）
• 计算机视觉（波及人脸识别，OCR 辨认，用户报障等）
• 风控算法（波及行程危险，虚伪订单，身份核实等）
• 自然语言解决（波及 VOC 工单分类，机器人问答用意辨认，猜你想问等）
• 数科算法（波及渠道举荐，危险分，反欺诈等）

要害术语

特色：

上面测量的这四种值（weight 分量，wingspan 翅展长度，webbed feet 脚蹼，back color 后背色彩）称之为特色，也能够称作属性。

指标变量：

指标变量是机器学习算法的预测后果，在分类算法中指标变量的类型通常是标称型的，而在回归算法中通常是连续型的。

训练样本：

特色或者属性通常是训练样本集的列，它们是独立测量失去的后果，多个特色分割在一起独特组成一个训练样本

常识示意：

假设这个鸟类分类程序，通过测试满足精确度要求，是否咱们就能够看到机器曾经学会了如何辨别不同的鸟类了呢？这部分工作称之为常识示意，某些算法能够产生很容易了解的常识示意，而某些算法的常识示意兴许只能为计算机所了解。常识示意能够采纳规定集的模式，也能够采纳概率分布的模式，甚至能够是训练样本集中的一个实例。

分类：

它的次要工作是将实例数据划分到适合的分类中

回归：

它次要用于预测数值型数据。大多数人可能都见过回归的例子——数据拟合曲线：通过给定数据点的最优拟合曲线。

聚类：

是否须要将数据划分为离散的组。如果这是惟一的需要，则应用聚类算法

算法研发步骤

1. 收集数据：咱们能够应用很多办法收集样本数据；
2. 筹备输出数据：失去数据之后，还必须确保数据格式符合要求；
3. 剖析输出数据：此步骤次要是人工剖析以前失去的数据，这一步的次要作用是确保数据集中没有垃圾数据；
4. 训练算法：机器学习算法从这一步才真正开始学习。依据算法的不同，第 4 步和第 5 步是机器学习算法的外围，如果应用无监督学习算法，因为不存在指标变量值，故而也不须要训练算法，所有与算法相干的内容都集中在第 5 步；
5. 测试算法：这一步将理论应用第 4 步机器学习失去的常识信息。为了评估算法，必须测试算法工作的成果。对于监督学习，必须已知用于评估算法的指标变量值；对于无监督学习，也必须用其余的评测伎俩来测验算法的成功率。无论哪种情景，如果不称心算法的输入后果，则能够回到第 4 步，改过并加以测试。问题经常会跟数据的收集和筹备无关，这时你就必须跳回第 1 步从新开始；
6. 算法预测：将机器学习算法转换为应用程序，执行理论工作，以测验上述步骤是否能够在理论环境中失常工作；

算法测试能力建设四大维度

从算法研发步骤中，可知，在算法测试品质保障畛域，次要波及：数据 & 依赖服务质量保障，模型成果品质保障，系统工程品质保障和根底能力撑持建设。四大维度的建设。咱们将在上面逐个铺开介绍。

数据品质保障

在数据品质保障畛域，基于公司以后的数据品质保障能力建设，尚不足业务数据品质监控的能力，在业界称之为“业务数据核查平台”。而算法研发流程对数据品质要求十分高，业界将算法对数据品质的依赖形象的总结成一句话：“数据和特色决定了机器学习的下限，而模型和算法只是迫近这个下限而已”。

因而，算法测试团队，从数据比对的形式登程，针对不同的数据存储介质，不同的应用服务，开发出针对多数据源比对的数据品质监控服务。

截止 6 月底，曾经接入多条业务线。数据品质监控工作数 19 个，累计发现问题数 25 个以上，其中线上问题占比超过 70%。造成常态化的线上数据品质监控能力，无效的进步数据品质保障能力和效率。

依赖服务质量保障

算法研发过程，依赖十分多的上下游服务来获取要害数据，特色或参数。比方客服的 ASR 服务，21 年 6 月之前，始终依赖内部的 ASR 语音转换服务，然而因为语音转换服务是内部的软件包外部调用的形式提供服务而且返回后果正确与否也很难通过响应内容做剖析，因而，既无奈通过埋点，也无奈通过响应内容来判断内部 ASR 服务的可用性。始终依赖客服人工报障的形式来感知服务的可用性。

因而，算法测试团队，借鉴线上服务拨测系统的设计思路，开发了服务可用性探测平台，当时筹备好测试语音，如“你好”的语音文件，定时被动向 ASR 服务发动探测申请，对响应后果做监控。当响应后果非文本“你好”时，被动告警告诉相干责任同学。基于这套计划的落地，ASR 服务问题解决时效从 2020 均匀 2.5 天，升高到 2021 均匀 30 分钟，同比降落 99%。

服务可用性探测平台，可能满足不同的服务类型：Web 服务，RPC 服务，音讯服务，存储服务。监控场景也能够满足：可用性监控，响应工夫监控，语义正确性监控等。目前已有客服平台，供应链，2 条业务线接入，2021 年上半年累计新增发现 11 个线上问题。通过及时感知服务可用性，帮忙研发同学疾速定位解决，防止产生线上故障。

模型成果品质保障

模型成果品质保障，次要分为两个维度：模型性能评估和模型成果评估。以下将一一介绍。

模型性能评估

模型性能评估，是咱们算法测试团队与一站式 AI 平台共建的我的项目，由算法测试团队独立研发提供模型性能评估能力，而后在一站式 AI 平台的模型平台内，为所有的模型，提供自助的模型性能测试服务。

整个流程如下：算法研发同学，在一站式 AI 平台的模型平台内上传模型，在测试页面，能够提交模型性能测试申请。模型平台会将性能测试申请发送给算法团队提供的模型性能测试服务，在性能测试服务上做性能压测排队，配置解析，压测数据筹备的操作之后，会将压测申请提交到公司的性能压测平台，由性能压测平台发动对特定模型的压测申请，在压测完结后，由性能压测平台返回本次性能压测后果给到模型性能测试服务，模型性能测试服务将保留本次压测后果及具体报告链接，供后续模型平台查看。

预计模型性能评估能力上线后，将为模型平台内近 300 个模型提供性能压测能力，前置的模型性能评估，可能无效解决线上模型性能问题，同时提前进行模型资源调配，优化资源散布。

模型成果评估

模型成果评估，是模型成果品质保障中，十分重要的一环，依靠模型成果评估，可能帮忙业务方和研发同学及时理解模型的成果品质，并进行后续的优化迭代。

目前，算法测试团队布局落地监督学习模型的成果评估能力建设。整个流程次要波及 3 个环节：数据预处理，模型数据服务，模型成果评估。

数据预处理

次要指，对 3 种类型的数据进行解决：

1. 人工结构数据，如 ASR 语音辨认所须要的语料，NLP 辨认所需的文本数据，均可通过人工制作，人工标注后，提供给模型进行训练和测试应用。
2. 线上离线数据，如保留在 hive 内的模型埋点数据，电动车用户语音唤醒语料等。这些数据，数据量宏大，数据参数繁冗，因而须要离线数据 ETL 工作，来实现数据的提取，转换，加载的处理过程。
3. 线上实时数据，如实时的模型埋点音讯，通过实时数据计算工作（Flink 工作），咱们能够采样获取线上模型的埋点数据，并实时计算出模型成果的评测后果，供业务方和算法研发同学及时感知模型上线后的成果品质，并进行后续的优化迭代。

模型数据服务

通过数据预处理后，这些通过加工的数据，将会转换成可供模型训练和测试应用的特色和标注数据。对于波及到人工标注环节的数据，咱们建设标注平台来反对人工标注，算法预标注，标注品质评估，标注数据输入等能力。布局 21 年下半年，标注平台反对 ASR 语料标注和 NLP 文本标注的能力。而对于不须要人工干预，可通过内部服务调用主动获取参照后果的数据，咱们提供特色计算平台，对特色数据，参照后果等进行自动化计算封装和数据输入的能力。

模型成果评估

在实现模型数据筹备之后，咱们就能够通过模型调用服务，获取被测模型的返回后果，通过模型评测服务的各项计算指标，如 ASR 语音辨认的指标波及：字正确率，词正确率，句正确率，模型调用性能等指标。对于地图限行模型，波及与参照后果一致性的指标。依靠模型评测服务计算的后果，将会输入 Bad Case 和评测报告。对于 Bad Case 将会存储到 Bad Case 治理平台中，进行后续的 Bad Case 优化测试，回归集补充，Bad Case 状态治理等等工作。

系统工程品质保障

对于算法测试的系统工程品质保障，与业务线的品质保障体系相比，除了算法相干的模型测试，上线前算法模型空跑外，基本一致。在此不做赘述。

根底能力撑持

根底能力撑持，亦和业务线的根底能力撑持相一致。在此不做赘述。

（本文作者：陈震）

本文系哈啰技术团队出品，未经许可，不得进行商业性转载或者应用。非商业目标转载或应用本文内容，敬请注明“内容转载自哈啰技术团队”。