DevUI 是一支兼具设计视角和工程视角的团队，服务于华为云 DevCloud 平台和华为外部数个中后盾零碎，服务于设计师和前端工程师。
官方网站：devui.design
Ng 组件库：ng-devui（欢送 Star）
官网交换：增加 DevUI 小助手（devui-official）
DevUIHelper 插件：DevUIHelper-LSP（欢送 Star）
引言
一个新版本的上线是否真的对产品体验带来晋升？
用户是否真的违心切换至新版本？
用户是否真的喜爱咱们的产品？
古代管理学之父：Peter F. Drucker 有一句名言：
If you can’t measure it, you can’t manage it.
因而咱们要对新版本的上线过程进行体验度量，用数据以自证。
我去年有幸参加了一款公司外部产品的新版本关闭开发我的项目，本篇文章次要从如何更好的制订内测、公测打算，如何用数据证实用户对新旧版本的爱好，用户的转化率等多个维度，就收集数据指标的设置、数据分析的角度等方面分享一些本人的心得体会。
开始
咱们在关闭阶段的新版本整体上线过程如下图所示：
咱们的第一版本上线通过了大量问题剖析探讨和和设计，而后咱们的新版本又经验了内测、公测，一直的收集新的反馈，而后一直修改的咱们的业务流，最终上到现网环境，收到用户的统一好评。
上面我次要是基于上线流程中咱们做的数据分析伎俩，能够通过收集哪些数据来度量咱们的产品体验。
此外新版本的上线过程中，其实还是有额定的播种的，咱们的用户画像更加清晰，业务场景的一致性标准越来越明确，还有前端页面的一些根底组件得以积淀下来。
一、高保真视觉稿输入
在开发新版本之前，咱们对以后的老版本做了大量的问题剖析和总结，而后深刻客户现场，通过和用户的实在面对面访谈和调研，整顿了大量的用户诉求和槽点。
而后由产品经理和设计师讲问题进行分类整理之后，输入低保真设计稿。
接着前后端资深开发人员，经营人员，设计师，产品经理等大家一起参加低保真的设计稿探讨，一直批改设计稿的细节：
- 开发人员的参加次要是保障细节的可实现性
- 设计师和产品等人的参加次要是对业务交互层面的把控
- 经营和用户的参加次要是的确以后的痛点问题是否失去缓解和解决
重复探讨和修改低保真设计稿，最终大家获得绝对统一论断，这个过程其实十分的难，体验的感触自身就是主观的，谁都能够发表并持有本人的观点。
此时其实须要产品经理力挽狂澜，舍弃细枝末节的无谓争执，在外围诉求失去满足的前提下，输入高保真，开发人员开始施行开发，大胆试错，小心求证。
过后咱们的前端开发人员和设计师、产品等人集中坐在一个小屋子外面关闭开发，这样子最间接的益处就是沟通老本的升高。
此外，依照以往，产品压服开发施行一个需要变更，或者开发压服设计师施行一个设计变更，往往会带来一个负面的成果：就是口服心不服。
当他人进入你的业余畛域来左右你的想法时，往往是通过森严施压来变现他的思路，这样子带来的可能是被迫的批改，你心里还是不服气的。
大家坐在一起的时候，咱们是能够间接通过上游的内测、公测阶段的用户声音来谈话，当用户跳起来的时候，“设计、产品、开发”会盲目的辨认到谬误，甚至都不须要你下发命令，他悄悄的就批改了，心悦诚服的默默上线。
关闭把新版本上线运作的零碎效率晋升到了最高。
二、自测试阶段
在新版本开发实现之后，此时的版本必定存在大量的缺点和高保真还原度的问题。
开发人员充沛自测
此时倡议充沛动员开发人员进行充沛自测试，各业务模块的开发人员，交替测试对方模块，梳理页面的外围逻辑，确定根本流程是否可用，疾速响应修复辨认到的问题，能够通过 wiki 的文档合作，备注分明缺点的提出人、负责人、复现路径以及重大水平等，重大缺点尽量做到当天闭环。
设计走读检视
其次联结设计师对页面进行细节走读检视，次要是针对高保真的还原度、一致性等问题进行辨认，记录。
产品体验和测试
最初产品经理也要尽快参加到自测试阶段，次要是针对业务主流程的可用性问题、易用性感触等角度做好记录和反馈，设计师和产品的问题与开发自提的问题对立 wiki 治理，最终依据问题优先级对立走到开发侧修复。
通过自测试阶段的发现问题、批改问题的重复迭代之后，bug 的数量和重大水平逐渐收敛至可控范畴内，此时就能够推动到内测阶段。
三、内测阶段
在内测阶段，咱们的指标测试人群要切换到咱们的实在用户群体，在实在的用户场景中发现更多的暗藏问题。
此外咱们在内测阶段也能够联合咱们的 热力求 和埋点事件，收集用户数据，提前感知下用户在新版本的应用操作流，为后续的公测做好危险评估。
3.1 内测用户群体征集策略
在用户的征集上，咱们过后采纳的策略是在老版本外面插播一个广告弹框，尽量保障内测的用户群体来自于咱们的实在用户群体，且具备老版本的应用习惯。
为了更好地激励用户的踊跃主动性，最好是设定肯定数量的物质激励或者奖金，这样子能力激发用户在应用过程中的反馈能源。
整个内测流动的工夫要有期限设置，个别在 1 - 2 周左右就差不多了。
此外能够设置单日最佳奖项，和整个流动的前 15-20 名奖项，基于反馈问题的品质和数量来评定用户的名次，比方反馈 100 个问题的给予一等奖处分，处分信息和排名信息每天定时发到群布告外面，让大家晓得本人的排名，也充沛激励大家的踊跃主动性。
用户通过点击广告弹框，理解本次流动的次要目标，有志愿的用户会自发报名，而后由经营人员对立整顿好拉群，内测用户群体还是要设置规模限度的，过大的用户量反馈的问题会导致内测阶段无奈收敛，要根据团队人力撑持规模来进行制订，比方 300、500 等。
3.2 内测问题反馈
为了更好的牵引用户反馈本人应用的感触，咱们应用的是公司外部的工具相似 Github 的 Issue 性能，提前把内测用户拉进创立好的我的项目外面，默认提供几个类型的标签，如下图所示：
用户在提 Issue 的时候要抉择问题的标签，打上标签的问题非常不便产品经理对收集到的问题进行归类整顿。
每一天设置问题反馈的截止工夫点，到了工夫之后由产品经理确定当日最佳以及把用户反馈的问题标记为是否无效，bug 以及须要批改的问题，尽快整顿散发的开发侧，疾速响应。
因为后期曾经疏导用户做好了问题标签，此时咱们能够依据标签过滤用户喜爱的性能点和不喜爱的性能点，整顿剖析内测阶段的问题也能够辅助评估内测用户对新版本的体验满意度。
3.3 问卷调查
内测问卷的填写能够作为最终处分的加分项，从而激励内测用户的踊跃填写。
问卷调查的次要目标是补充之前进行的问题反馈数据，共同完成对内测流程的体验度量。
问题设计能够次要思考如下几个方面，当然还是要基于团队理论诉求进行充沛设计，确保收集的数据可用性。
- 用户画像收集，比方用户当前工作类型，所属部门信息，之前应用的相干工具平台类型，是否应用过老版本，老版本应用工夫等之类的问题；
- 新版本的外围优化模块的评估，能够设置新版本外围优化点的单点评估选项；
- 是否会持续应用新版本，是否会被动给敌人举荐新版本等主观志愿的相干收集；
- 待改良的场景点，收集下一步持续优化的业务点；
- …
3.4 内测总结
在内测阶段通过 Issue 的问题反馈和问卷数据收集，能够度量出用户对新版本的满意度，青睐水平，也能够通过 词云剖析 失去对新版本体验评估的热词散布，以及用户对新版本应用和举荐的主观志愿占比等可度量化数据。
通过这些数据能够帮忙咱们更好的制订下一步公测的打算以及优化以后版本缺点问题。
最初说一下咱们这次流动理论感触，因为激励的存在加上咱们的工具自身大家每天就会应用，所以内测用户的积极性十分大，一天会有 300 个左右的问题反馈，到了实在的用户场景外面的确依然存在大量的 bug 和体验性问题，极大的升高了正式上线的冲击。
四、公测阶段
4.1 公测埋点方案设计
公测阶段意味着咱们的产品曾经满足正式对外应用条件，为了防止对老版本用户应用习惯的适度冲击咱们减少了公测阶段。
过后咱们是在老版本外面减少了新版本的广告牵引弹框以及疾速的拜访入口，在牵引入口的点击事件外面咱们做了事件埋点，思考到用户会相互分享链接拜访的操作，咱们在新版本外面也会辨认用户之前的版本是新 or 旧，如果存在旧切新的操作也会被埋点事件上报下来。
当然也会提供用户从新版本返回老版本的入口和对应的埋点事件，对于一个 Web 站点交互行为的改变必定会影响到用户的应用习惯，给用户带来额定的学习老本，因而两个版本之间的切换都要做好埋点事件。
在公测阶段咱们应用的次要埋点指标如下：
- 新用户：首次拜访某站点的用户；
- 页面拜访次数 PV：页面加载次数其实就是页面的浏览量；
- 页面拜访人数 UV：个别是指 1 天内拜访某站点的人数，1 天内同一访客的屡次拜访只计为 1 个访客；
- 新增用户：某站点拜访的新增用户；
- 用户转化率：原来应用的老版本，转而应用新版本的用户，占总用户数的比率；
- 留存率：某一统计时间段内的特定用户群体中，通过一段时间后仍启动应用的用户数占总用户的百分比，别离展现新用户和沉闷用户的日留存；
- 跳出率：只拜访了一个页面就来到的会话占比；
- 热力求：察看用户的操作热点区域；
4.2 埋点计划自验证
埋点计划可行性自验证十分的重要，一旦公测入口关上，用户的行为就会被上报，而此时如果埋点存在问题，将会失落最重要的用户数据，第一天的用户天然行为数据是难能可贵的。
针对上述计划的埋点要提前进行测试充沛，确保数据上报失常。
倡议在绝对的独立的自测试环境环境上对相干埋点的设计、数据上报、数据收集等阶段做好演练动作。
4.3 公测数据分析
在现网环境拜访新版本的正式入口和经营的预热流动，大量的用户进入到新版本，因为经验了内测阶段的调整，整体用户的反馈次要是交互习惯的冲击。
当然最重要的就是埋点的数据分析了，每一天上班之后产品要及时整顿埋点数据做好数据分析，具体记录好每一天的数据变化趋势。
以 UV 转化率举例，如下图所示能够显著感觉的用户的增长变化趋势，通过数据来佐证新版本对用户的自发式吸引力。
4.4 公测数据分析
在众测阶段咱们联合了埋点事件，对整个新版本的上线数据做到了可度量，通过剖析汇总的数据能够帮忙咱们更好的制订新版本的正式上线工夫点，以及一直修改众测阶段呈现的体验和缺点问题。
五、总结
体验的感触是主观的，咱们很多人都能够对一个产品体验指出大量的问题，之前微信产品张小龙不是也自嘲每天有 1 亿人教他做产品，咱们对体验的谋求是无止境的。
下面提到的一些办法只是辅助咱们对现有方案设计进行体验度量，说到最初一个产品的体验还是要靠是否真正的不便的帮忙用户解决了问题、是否存在满足用户诉求的应用场景才会造成自发的吸引力。
退出咱们
咱们是 DevUI 团队，欢送来这里和咱们一起打造优雅高效的人机设计 / 研发体系。招聘邮箱：muyang2@huawei.com。
文 /DevUI 夏天的尾巴
往期文章举荐
《让咱们来构建一个浏览器引擎吧（倡议珍藏）》
《手把手教你搭建一个灰度公布环境》
《在瀑布下用火焰烤饼：三步法助你疾速定位网站性能问题（超具体）》