《揭秘百度智能测试规模化落地》，介绍了通过将测试流动分为测试输出、测试执行、测试剖析、测试定位和测试评估五个步骤，来推动百度智能测试点线面体的规模化、一体化落地。本章节重点揭秘在测试输出环节十分重要的畛域测试主动生成。测试主动生成，通过将数据、算法、工程等相干技术有机联合，在测试输出阶段主动实现“高笼罩、高仿真、全校验”的揭错汇合，个别蕴含测试数据生成、测试用例生成、动作集生成、测试断言生成等方面，在学术界和工业界均有十分优良的钻研和实际。方法论上个别蕴含基于控制流图、基于数据建模或两者联合的形式。本章节将从多个实际的角度，介绍相干畛域的指标、思路、波及到的技术点、成果，心愿能给到大家肯定参考。
01 基于 AST 的异样单测用例生成技术揭秘
代码级用例主动生成用于解决 RD 写单测艰难、耗时等问题，摸索一种能够依据代码构造、代码信息主动生成单元测试代码的办法。
基于 AST 的代码级异样单测用例生成技术是一种近代码感知问题的测试伎俩，其核心技术包含代码了解、用例数据生成、用例驱动代码生成。
代码了解环节通过动态代码扫描的伎俩，将代码语言形象成结构化的函数特色数据，特色数据蕴含：函数调用形式、变量申明和赋值形式、变量关系、变量字面值、mock 点等信息。
用例数据生成环节，根底数据源包含边界值、随机值、变异值、代码字面值和函数插桩参数值以及一些业务自定义的数据。为了防止用例爆炸，在传统的基于生成法结构用例数据的根底上，除了被测指标接口协议外，联合了高风险变量抉择、门路抉择、符号执行以及基于搜寻的生成算法（例如采纳遗传算法，通过适应度公式来评估用例品质好坏）来领导用例数据的生成，保障用例集笼罩更多分支下的代码逻辑，联合覆盖率和问题堆栈信息，反哺用例生成算法，升高对有效用例的生成，在无限测试老本下生成更有价值的用例，保障揭错能力。
用例驱动代码生成环节，依靠多语言多测试模板如（gtest 语法要求）建设生成算子集，基于代码结构化数据和用例数据，调用不同的生成算子，联合智能 mock 生成算子，生成可编译执行的测试用例代码。
现已具备 C ++/GO/OC 三种语言的用例生成能力，召回 1000+ 异样（core、死循环、panic）等问题。
02 接口级用例主动生成
接口用例主动生成，次要是针对服务接口级主动生成 API 申请来代替人工写用例的场景，解决人写用例不齐备、工作量大等问题。
接口 api 始终具备良好的可测性，在各大场景上面，都有相干自动化接口测试的利用，然而应用的越来越多，也会呈现新的挑战。比方 case 的人力老本，因为要继续增加新的 case 测试，还要继续保护老旧 case，所以针对 case 这边的人力保护老本也越来越高；自动化 case 的品质，有可能写了很多 case，然而压根就没有多少是有用的，或者无奈分别 case 品质，越积愈多，无奈保护。所以针对以上问题，提出接口用例的智能主动生成，次要是思路就是依据定义好的接口格局，包含 api 定义管理工具，业务系统日志，截包等等，都能够拿到各个接口标准的定义，而后加上人工梳理的了解，对一些字段进行一些条件限度，最终能够通过接口的定义和限度条件，主动智能的生成批量的测试 case，能够疾速的进行接口契约测试和回归测试。除了接口用例主动生成，在接口的断言也做了主动智能化的降级，次要的思路就是依据历史 case 的运行后果，首先能够主动判断后续所有 case 的返回接口体统一，不会呈现构造嵌套的问题。再进一步，也能够依据历史接口返回各个字段的值的特点，主动智能的生成针对每个 value 值的断言，疾速判断接口是否有异样。目前接口智能化生成的 case 有 2w+，占整体 case 量级的 80% 以上。
03 UI 浅交互用例主动生成
UI 自动化测试能够实现端到端测试，对业务性能进行回归验证，大大提高测试效率。目前该畛域存在显著局限性：1、用例书写老本高；2、用例召回能力弱；3、用例保护老本大。但有局部业务 UI 交互并不简单，如在关注展示款式或浅交互性能的产品中，一方面，QA 须要对数百上千条数据驱动下的页面进行款式校验；另一方面，须要对页面里数十个元素的操作交互进行验证，咱们尝试用视觉技术解决此类用例生成用于代替人工。
UI 浅交互 case 生成技术工作，具体包含离线数据挖掘模块和实时工作执行模块：在数据挖掘环节，操作的对象是线上基线产品，咱们应用 DNN Object Detection 技术，训练生成控件级和页面级分类和回归任务模型，进而利用 mine 技术录制页面要害 Dom 元素的摸索操作，生成带有上下文语景的操作序列，最初把这些 action 和 pic 作为生成的用例步骤；接着在 real-time 工作执行环节，对线下提测模块进行门路回放，并进行 ui-diff 视觉技术校验，来进行 case 的回归验证测试。
整套 UI 用例浅交互生成机制，能够生成低成本、高召回的自动化 case，目前该技术在共笼罩多个产品线，发现无效问题 16 个，在某业务的前置准入流水线，生成 1000+case，试用阶段，已召回 3 例问题。
04 GUI 遍历动作集主动生成
后面介绍的均是代码、接口、UI 层面的生成技术，本段解决的是动作集主动生成，此类场景在 UI 遍历、巡检、monkey 有十分宽泛的利用，即如何摸索出一套高效的拟人化遍历解决方案。
GUI 遍历动作集主动生成，外围是在均衡资源与收益前提下，主动生成覆盖率和问题露出率高的动作集。GUI 动作集是指向挪动真机或模拟器发送的一系列随机的用户事件流 (如按键操作、触摸屏操作、手势输出等)，是模仿实在用户的点击、滑动、输出等操作的汇合。外围点在于更快 (雷同的召回率，耗时更少)、更多 (雷同的操作次数，覆盖率更高)、更准 (雷同的机器时长，增量覆盖率更高)；传统 Monkey 随机遍历，速度极快但有效操作多资源耗费大，较为智能的做法是基于控件的加权遍历办法, 该办法将页面构造提取成控件树，并对这些控件基于属性、历史操作状况等赋予不同权重，最初将页面形象为“点”，控件形象为“边”，这样将动作集的生成转化成对有向有环图的遍历问题；这种遍历没有场景对照，且图中存在大量环路极易陷入部分循环，须要在遍历过程中给肯定的反馈辅助动作集走出死循环，对此引入基于 Deep-Q-Learning 的智能遍历，以是否进入新的页面作为激励，遍历过程有反馈，并且联合业务退出多种场景，让动作集的生成在反馈机制下自摸索自学习，并进一步引入拟人化的思维，通过激励和惩办机制使得动作集具备肯定的逻辑性。与纯随机相比，雷同工夫内，智能遍历覆盖率晋升 33%，雷同覆盖率，智能遍历缩短 75% 的测试工夫。
05 前端用例主动生成断言
撰写测试断言存在不标准、工作量大、不残缺等问题，导致很多本该召回的问题未及时报警，本阶段就是为了解决此类问题。
测试断言用于查看被测系统行为的正确性，即通过向被测系统提供输出，并以预期的输入评估后果来解决生成后果是否正确。在前端自动化畛域，大量手工测试行为被自动化代替，自动化用例又逐步趋向于主动生成。如何无效判断执行是否合乎预期？关键点在于如何主动地生成齐备、合格的断言。次要思路，一是有参照召回，即以历史版本或某机型的以后版本作为正确的参照，将被测版本与正确版本进行比照；二是无参照召回，即事后提取显著问题的特色，查看用例执行后是否命中，如白屏、乱码。在百度的实际中，咱们退出了多层级页面了解和特征提取算法，来解决多设施版本的绝对地位不同、简单页面难以辨认等问题，实现了端到端的平面校验。目前日均运行数十万次，策略准确率达到 97%+，拦挡 bug2000+ 个。
举荐浏览：
揭秘百度智能测试规模化落地
浅谈百度智能测试的三个阶段