作者 | intelligents
前几篇，散布介绍了测试流动测试输出、测试执行、测试剖析、测试定位和测试评估五个步骤中测试输出、执行、剖析的智能化钻研和实际，本章节重点介绍测试评估环节的智能化实际。
测试评估是通过收集品质保障流动过程产生的各类零碎体现数据，利用策略进行剖析，以进一观测通过全副品质流动后的品质危险，此次剖析区别于测试报告，如性能测试报告、功能测试报告，测试报告是针对某项品质流动揭发有无问题的报告，测试评估是从危险水平去判断是否要减少品质流动。测试评估往往是品质保障人员最容易漠视的环节，但随着测试自动化水平程度的晋升，测试人员往往只通过自动化报告去判断品质危险，而短少必要的剖析，极容易造成漏测。
测试评估智能化通过将数据、算法、工程等相干技术有机联合，从品质流动零碎体现数据、变更危险水平等方面，利用策略或算法预估我的项目准出的危险，以最终决定我的项目是否能够上线。测试评估的钻研次要从危险引入、品质流动数据挖掘、危险度评估等多个畛域进行钻研，在该畛域的实际绝对较少，百度 QA 始终在摸索钻研和实际。本章节将从对应实际角度，介绍相干畛域的指标、思路，波及到的技术点、成果，心愿能给到大家肯定参考。
一、基于研发行为的品质危险维度开掘
品质危险引入次要是研发阶段，即研发写出有危险代码。钻研该过程，实际上是在探寻何种人在何种背景下写出何种代码容易引入危险，挖掘出因素并进行结构化，进而通过模型进行辨认危险，为下一步危险管制和决策提供根据。
开掘品质危险引入的维度有项目风险、人员危险、代码危险等，
项目风险包含开发时长、模块数、变更数等维度，能够掂量出我的项目规模；
人员危险包含千行代码 bug 率、我的项目相熟度、提测打回数等，能够掂量出研发人员的靠谱水平。
代码危险包含两类，一类是变更行、函数、复杂度等代码变更信息，能够掂量出复杂程度；另一类是影响接口、UI、场景对应的用户密度、问题密度等，能够掂量出变更代码可能影响面。
基于这些数据，建设模型和规定，能够失去危险产生概率和危险产生造成危害大小，帮忙判断我的项目 qa 须要染指水平，如是否能够自测、无人值守。
数据维度抉择、采集是辨认的根底。
1、项目风险、人员危险依赖我的项目过程中留存数据，在整个交付过程会失去采集、荡涤和落盘；
2、代码危险可由历史提交状况，联合代码语法树剖析 AST 和深度算法辨认等技术计算失去，用来判断危险概率，如稳定性危险、性能危险等。
依赖危险能够通过 rpc+mesh 等零碎架构进行获取，获取服务相互间依赖，再联合代码了解，判断我的项目变更是否会带来服务间影响，进而判断依赖危险概率。
二、准入危险评估及利用
准入危险评估次要由危险维度数据、危险决策、工作类型三局部组成，以判断我的项目预计须要用何种品质流动进行笼罩，如齐全自动化、RD 自测即可、QA 染指或染指水平。
准入危险评估实质是测试前辨认危险，依据危险举荐 / 预警品质流动和测试用例。建设通用数据挖掘工程能力买通数据血缘关系，获取项目风险画像、人员危险画像、代码动动态危险画像等，基于画像信息建设危险辨认能力量化危险；危险管制实质是针对已辨认危险给出执行倡议和充沛度评估；深刻危险跟踪 & 管制，智能决策生成或执行能充沛裸露危险的测试流动(如功能测试、策略测试、性能测试、灰度等)，使得零碎危险和产品质量危险最低；驱动测试流动从传统的教训执行触发模式向充沛度评估领导的危险驱动执行模型转变，在测试流动无奈笼罩所有已辨认危险即测试充沛度不满足需要时给出优化倡议补充测试领导。危险决策实质是综合思考危险产生概率和危险产生时的影响水平进行综合决策，借鉴偏专家教训的规则化决策以及风控模型，产出基于规定、模型、影响的整体量化决策计划。整个危险决策闭环流程蕴含危险追踪数据获取、危险数据特色筛选、特色荡涤、特色解决、模型开发、校验评估、模型上线、监测标注，并且将标注后果反哺危险追踪数据，实现整个危险决策流程良性循环。
准入危险评估论断次要用于测试工作散发、流程流转、测试人员散发等，通过准入危险评估论断领导后续品质形式抉择自动化工作跳过、无人值守、自主测试、何种类型的 QA 染指，总之危险准入评估，能够用来做品质流动的最优散发，晋升品质流动的合理性。
三、多维流动过程数据挖掘
我的项目通过准入危险评估后，会进入到品质流动进行对应的测试，须要记录每个品质流动的痕迹，用来判断通过品质流动后，后期危险准入评估危险是否失去笼罩，本环节就是要钻研获取何种维度品质流动数据和抓取。上面次要讲得是比拟外围的白盒覆盖率，日志覆盖率，业务申请笼罩，仿真性等数据挖掘。
白盒覆盖率：次要是测试过程中，测试用例对我的项目的笼罩水平，用于评判测试的齐备性，细分我的项目有语句、断定、分支、函数等等。支流的实现思路是通过对源码文件在编译过程中产生的预处理文件进行插桩解决，及对预处理文件埋点记录函数，而后失常去编译。当正在运行的程序走到相干的代码行便会进行记录，再去对记录的数据进行开掘和采集，失去白盒覆盖率数据
日志覆盖率：个别指的是异样日志的笼罩状况，次要用于检测异样测试的充沛度。和白盒覆盖率相比，不须要独自插桩编译，会省时许多。支流的实现逻辑是应用独自的日志打印的逻辑函数。当正在运行的程序走到相干的函数便会进行记录，最初统计测试用例能够笼罩的日志状况，最终失去日志覆盖率的数据
业务申请笼罩：次要指的是通过业务场景建设业务申请常识图谱，依据教训，自身场景危险大小去细化申请门路，最终分危险级别给出所有业务场景汇合，在执行测试用例的时候，来判断测试用例中业务申请在业务场景中的笼罩状况，失去业务申请笼罩的数据。
仿真性：次要分两类，一是环境仿真性，次要是和线上环境的仿真水平，包含机器，网络，程序版本，上下游状况等等，失去环境仿真性数据；二是流量仿真性，包含流量大小，潮汐，覆盖范围等等，通过数据的统计失去流量仿真性，最终给出仿真性数据。
四、基于模型的危险评估
以往当我的项目提测时，评估我的项目品质危险更多的是依据测试人员的以往测试教训来决定的。但这种评估项目风险的伎俩存在着人工判断存在盲区，测试人员经验不足等问题，因而基于模型的品质危险度评估零碎应运而生。
本环节就是利用前几个阶段的危险维度数据 + 品质流动数据，用模型或规定预估我的项目最终危险大小，来判断我的项目是否应该上线或补充测试。
在危险评估中，须要思考危险的产生的概率和危险产生的影响进行决策，因而在决策计划上，采纳基于规定 + 模型 + 影响来进行量化决策。首先，建设危险概率模型，通过历史数据主动学习“教训”，用以评估项目风险产生的概率。在模型选型上，模型须要有肯定的可解释性，且品质数据量较少，速度要求低等个性。并且针对业务测试数据对各种分类算法进行成果验证。综合以上考量，选取逻辑回归（LR）作为分类模型。在模型特色选取上，选取危险引入（代码危险指标，人员危险指标等）和危险移除（测试充沛度，监控齐备度等）两个维度的多类特色数据作为模型输出。而后，在危险决策论断给出方面，采纳危险矩阵法的思路，综合思考危险的遗留概率 (危险产生的可能性) 和危险的影响水平(危险的重大水平)，得出危险的评估论断。最初，通过危险报告可视化等门路欠缺反馈闭环，继续优化模型迭代。
通过上述品质危险维度设计、危险准入评估、品质流动数据挖掘、危险准出评估，四个环节零碎实现，把所有环节连接起来，落地业务线，在提质增效上获得很好的成果：
危险评估单 Q22-Q3 共辨认 1000+ 不可自主测试项目，共拦挡 300+bug；危险评估托管 4000+ 自主测试项目，约节俭 2000+ 人天。
基于危险决策进行品质保障畛域，才刚起步，后续百度 QA 将继续从上述四个维度进行技术和算法钻研，以进一步晋升准召。
———- END ———-
举荐浏览【技术加油站】系列：
揭秘百度智能测试在测试剖析畛域实际
揭秘百度智能测试在测试主动执行畛域实际
揭秘百度智能测试在测试主动生成畛域的摸索
【技术加油站】浅谈百度智能测试的三个阶段
【技术加油站】揭秘百度智能测试规模化落地