共计 1736 个字符，预计需要花费 5 分钟才能阅读完成。
Dev for Dev 专栏全称为 Developer for Developer，该专栏是声网与 RTC 开发者社区独特发动的开发者互动翻新实际流动。透过工程师视角的技术分享、交换碰撞、我的项目共建等多种形式，汇聚开发者的力量，开掘和传递最具价值的技术内容和我的项目，全面开释技术的创造力。
本文为专栏系列内容，作者为声网音视频实验室工程师孙勇男。
什么是测试自动化框架
测试自动化框架是为自动化测试用例或者脚本提供执行环境而搭建的基础设施。自动化测试框架为用户提供了各种益处，可帮忙他们无效地开发、执行和报告自动化测试用例。自动化测试框架更像是专门为自动化测试而创立的一套零碎。用一种非常简单的语言，也能够说框架是各种编码标准、测试过程、工作实际、我的项目层次结构、模块化、报告机制、测试数据注入等反对自动化测试的性能的极大交融。
自动化测试框架的类型
当初咱们对自动化框架有了根本的理解，让咱们看一下当初风行的各种类型的测试自动化框架。这些框架可能基于对不同关键因素（例如驱动类型、可重用性、易于保护等）进行自动化的反对而彼此不同。
● 基于模块的自动化测试框架
● 仓库架构自动化测试框架
● 数据驱动自动化测试框架
● 关键字驱动自动化测试框架
● 黑盒混合自动化测试框架
● 行为驱动自动化测试框架
为什么选用黑盒混合自动化测试框架测试 SDK
所谓黑盒，即提供给业务测试人员无需思考程序内部结构和外部个性的状况下，在程序接口输出测试的参数并抉择输入项，通过程序外部混合测试框架失去相应的后果，使用者只需关怀输出与输入。
场景设计初衷
“ 自动化是为了更好的解放双手，谋求更高的效率 ”
与互联网软件 (app、web) 的测试有所不同的是，简略来说实时视频 SDK 测试简直不须要点点点，根本是通过自研自动化工具实现端与端间通过自定义网络伤害后的视频通信，并采集端上 SDK log 作为测试产出数据，主观测试数据即主观测试后果。围绕并以此通过结合实际业务需要，去离 ”Code based automation”，依据业务测试以平台化、模块化来提供解决方案，从而提供更多的测试维度、缩小反复体力劳动和效率瓶颈问题。
01 解决方案架构简述
根底建设计划
● 采纳 CI 集群 + 测试工具及自动化测试框架 + 数据平台化
撑持 daily、发版测试、开发自测的测试工作
● 具体模块性能简述
落地机房实景
● 多套测试节点撑持整个视频主观发版业务线
02 基于自动化测试维度的思考简述
逐步完善自动化闭环
通常咱们在做自动化测试过程中通常先实现“执行测试”这一步骤，然而这只是绝对自动化的一部分，我集体了解的自动化闭环长处不局限于 ” 输出便捷性灵、测试覆盖性全、测试避障性强、输入聚合性高 ”，更多的站在整个链路逐渐冲破测试精准性和效率瓶颈。
上面是咱们在测试避障性和输入聚合性模块中的举例:
举例 1 时段网络稳定影响
在生活中应用聊天软件视频时，往往会因为网络突发稳定造成忽然的卡顿或者或者画面含糊，稳定幅度和工夫都具备不确定性，对于实时视频 SDK 的测试也会遇到这样的问题，尽管咱们尽力保障网络环境的稳固，然而在长时间的测试过程中也常常会遇到诸如此类问题，影响咱们的测试数据。
如何在测试过程中升高因网络稳定造成的数据误差？
● 利用漏斗式重跑筛选形式，简要构造如图所示
即循环求值保障在设定误差内无效升高因为网络稳定影响 SDK 版本测试数据。
举例 2 版本数据稳定影响力采据
在实现自动化测试后对于测试版本间或者与 release 版本各项体验指标数据上，个别是通过报告间数字的差别，但随着体验指标的减少，往往咱们更迫切需要多个版本准确到端到端上某个指标上的差异性感知品质可视化。
● 后盾管理系统 - 主观报告模块
反对多版本报告比照的 case、devices、体验指标等求值动静视图
目前这种主观报告的视图模式尽管临时满足了咱们对自动化报告指标数据上的取证比照需要，然而在数据的梳理和合成性能还须要更加切入业务的了解。
03 总结
绝对不同业务的框架并没有什么官网的规范，而是紧贴理论业务需要，搭配适用性高的支流框架或者自研框架集成到整个测试架构来提供解决方案。操作者可能为开发可能为测试，大家技术线有所不同，作为绝对 ” 黑盒 ” 使用者暂不须要晓得他的原理结构，仅需分明理解能为本人在最短时间解决工作上的问题即是黑盒测试框架的价值。