共计 4423 个字符，预计需要花费 12 分钟才能阅读完成。
本文通过介绍体验度量模型降级钻研过程、钻研办法及钻研后果等内容，结合实际 C 端产品利用，观测新模型运行周期的体现，验证了其在高速倒退的业务状态和日益变动的用户需要上的适用性和有效性。咱们从体验价值为导向的底层模型设计，到主客观体验影响因子在理论业务使用的办法，摸索出一套切实可行的验证设计价值的体系。通过对体验度量模型一直地调优，不仅可能诊断出过往产品策略和口头是否对用户无效，而且可能前瞻性的预测出将来的体验走势。
一、背景
本次用户体验度量模型 3.0 是在 2.0 度量模型根底上进行的全新降级。如果说体验度量模型 2.0 是让团队共识了体验须要“迷信”度量这件事，那么这次体验度量模型 3.0 则要求模型验证体验的 ” 价值 ”。
在降级前咱们始终在思考这样的问题，如何让度量模型可能更实用于疾速倒退的业务以及一直变动的用户，可能预判出将来体验趋势。
咱们将此次降级体验度量模型的内容残缺的分享给正在搭建度量模型或者是想要降级度量模型的设计团队，心愿能给大家带来更多的启发。
二、现状问题
过来一段时间里，体验度量模型 2.0 的内容普适性很好，在物流各个系统运行失常。但因为各条业务线倒退不对立，体验度量模型 2.0 度量进去的内容与日益倒退的 C 端业务零碎产生不匹配的状况。为了进一步确认问题，筹备后期咱们通盘对度量模型利用在客户端上体验的问题和倡议进行收集。次要波及三个方面问题：
- 视角繁多，问题不聚焦：原先度量模型业务参与度不高，缺失对指标深刻理解；加上业务高速倒退，旧的指标领导理论业务价值不高，导致产品和业务的人员关注度不高；而度量进去的内容又无奈聚焦问题。
- 度量值无基准线参考，分数差别不显著：模型自身度量值无基线值参考，也没有对标值，对以后产品达成好坏状况比拟含糊。另外，体验分数档位差距不显著，尤其是 10 分值小数点后的变动感知度不强，很难直观看出问题所在。
- 短少行业视角，规范不明确：对产品所处的行业状况存疑，长期以往则会陷入自我感觉良好而没有实在反映产品竞争力的状况。
基于此，本次模型降级围绕解决问题不聚焦视角繁多、度量值无基准参考、度量规范不明确等问题进行。
三、钻研指标和方向
依据现有问题找差距，根据差距确立口头指标。
- 更聚焦问题。确定钻研框架，重构钻研流程。相较于度量模型 2.0，在公司策略“自上而下”视角中业务须要看什么之外，减少“自下而上”可感知的用户视角。
- 更突显比照。丰盛指标，优化度量形式。拆解业现有业务指标，丰盛主、主观指标库，严选每个指标及确定各指标基线值和目标值。
- 更看清差距。优化、引入其余比照维度。从外部本人与本人比变为与内部行业垂类 TOP1 比。
本次度量模型降级以 C 端产品为终点，明确度量模型价值，作为过程治理的工具，补救零碎层细节体验缺失问题，疾速帮忙业务、产品、体验进行决策，达到青出于蓝而胜于蓝的成果。
四、钻研框架和过程
在确定口头指标的指引下也确定本次降级次要从四方面进行：维度确定、权重确定、指标确定、度量值确定。
4.1 模型框架
度量模型共五层，第一层为度量分数——体验总分；第二层为权重层，蕴含主观、主观权重；第三层为主主观对应的维度层；第四层则是对应维度下指标层；第五层则是具体指标赋分状况。
4.2 维度钻研
4.2.1 维度钻研办法及过程介绍
本次降级对维度钻研办法上做了优化。一方面从公司视角“自上而下”，专家意见作为参考深度绑定，对度量模型从新进行打乱和重排。另一方面从用户可感知的“自下而上”登程，联合定性和定量钻研，进行用户访谈、从新绘制用户旅程图，进而用因子分析办法确定指标维度。确立好的钻研办法之后咱们开始重构维度钻研。
- 搭建维度库：在维度钻研后期对行业内体验度量维度内容进行了剖析和整顿，取并集进行总结，搭建出一套残缺的维度库。
- 组建专家组，专家访谈：基于三大职能六个岗位选出资深 9 位专家成立了专家小组。通过一对一深访确定专家诉求以及将来预期，明确快递小程序体验度量的关注重点及维度。
- 探讨验证确定维度：本着 MECE 准则（互相独立，齐全穷尽准则）、可度量、可晋升三个规范进行维度确定。期间，依据专家组给出的度量后果与维度库后果进行匹配，也是将实践与理论进行联合后输入 3 套可行计划。咱们对每一套计划劣势和劣势进行了充沛探讨，在经验 6 轮探讨后最终确定维度计划。
4.2.2 维度钻研后果
最终咱们失去了性能体验、性能体验、易用体验、情感体验四个维度
- 性能体验：性能是否欠缺，根底性能笼罩以及蕴含用户用意辨认的定制化性能
- 性能体验：产品根底性能、稳定性体现
- 易用体验：易操作、易学、易查找、清晰可见
- 情感体验：蕴含满意度、忠诚度、举荐度，蕴含用户抉择产品的起因
这四个维度基于产品零碎自身，从有用的根底的性能体验至卓越的性能体验，直到成为好用的易用体验升华至用户爱用的情感体验。
从最终确定的维度后果上看，相较于之前，维度的内容范畴更明确更易懂，最重要的是各方达成对立共识，这一点对于前期度量进去的内容受各方高度关注起到了关键性的作用。
4.3 各维度权重钻研
4.3.1 主客观权重、主观各维度权重钻研办法
维度确定后，接着就须要对主观权重、主观权重进行确定，以及各维度权重系数进行确认。主客观的权重采纳的是 AHP 档次分析法。具体的定义可参考上面词条的内容，咱们重点介绍如何应用的
“AHP 档次分析法是一种将定性与定量分析办法相结合的多指标决策分析办法。该办法的次要思维是通过将简单问题合成为若干档次和若干因素, 对两两指标之间的重要水平作出比拟判断, 建设判断矩阵, 通过计算判断矩阵的最大特征值以及对应特征向量，就可得出不同计划重要性水平的权重, 为最佳计划的抉择提供根据。”——引自百度百科
首先建设层次结构模型，其次通过专家重要性比拟打分，最终通过软件剖析效验计算得出权重系数。
- 建设层次结构模型：将零碎体验度量合成为维度，依照因素间的互相关联影响以及附属关系将因素按不同的档次汇集组合，造成一个多层次的剖析构造模型。例如体验度量分主、主观维度，而主观维度下又是由性能、易用、性能、情感四个因素形成。构建好层次模型后就能够将所有因素放在一起进行两两比拟了。
- 专家重要性比拟：组建的 9 名职能专家组别离对主观维度及主观维度的绝对重要性进行了评估。
- 软件剖析效验：依照专家评估后果，通过软件 yaahp 计算出各维度权重系数。最终专家组针对后果进行探讨，确定权重系数。
通过这样的办法，咱们同时确定了主客观权重，以及主观各维度的权重系数。这次主客观权重相较于之前是有变动的，而这种变动的根本原因在于，自上而下对现有产品清晰定位及最终目标导向的后果，能够说是团队共识之后，致力做好用户体验信心的一种体现。另外，主观各维度的权重也会随着产品的倒退阶段而进行调整。
4.3.2 主观各维度权重确定
与主观维度确定不同，主观各维度权重的确定采纳的是因子分析法（Factor Analysis）。它是一种数据简化的办法，次要用于对一组数据较多而且互相关联的变量进行提炼与概括。因子分析的目标是以尽可能是少的信息损失，把大量互相关联的变量稀释为少数几个因子，便于对数据的了解和进一步的统计分析。
如果说档次分析法输入的专家组认可的维度，那因子分析取得则是用户可感知到维度。因子分析最难的局部是因子后果能够与档次分析法失去的维度匹配上，在这个阶段中可能须要一直的调整量表、剖析后果、测验到再调整、再剖析、再测验。因子分析是本次模型降级最大的亮点，它不仅解决旧模型可信度的问题，更重要的是帮忙咱们看清从用户感知层面评估进去的维度以及对应的权重调配，为前期体验问题的聚焦及决策上提供了撑持根据。
4.4 指标钻研
4.4.1 主观指标钻研
在主观各维度钻研的时候提到形成主观各维度的主观指标，主观指标钻研分为两步，先搭建主观指标库，在筛选指标。因为主观指标库是在原有根底上进行的，本次次要从细化指标和裁减维度进行。一方面是依照用户视角，对用户旅程阶段的触点进行细化，另一方面依据业务视角，通过业务的指标拆解进行指标裁减。当有这些指标后，以满意度的形式回收用户反馈，继而对问卷后果进行因子分析，确定最终对整体分数的贡献度状况。
4.4.2 主观指标钻研
在主观指标钻研上也是先搭建主观指标库，再进行主观指标筛选。主观指标库搭建的准则：业务指标导向、数据品质、产研侧专家评估。在搭建主观指标库时，首要是强绑定业务指标导向，纳入指标库的指标要与业务指标关联严密。其次指标数据的品质要实在、主观，观测一个好的指标要看过往数据反映问题的状况以及无效的领导一线业务口头。最初也须要产研侧专家筛选最贴近产品理论和指标的主观指标。基于这样三层准则咱们搭建出快递小程序主观指标库。在进行主观指标筛选过程中确定筛选指标的四个规范：可掂量用户价值、反映产品策略、指标直观可拆解、与营收相干的先导性指标，最终确定每个维度下的主观指标。当然，过程中也有发现指标利用价值高但数据统计口径有出入的，以及现有指标不满足需要的额定须要新设计指标的状况。
4.5 度量值钻研
4.5.1 主观赋分
度量值简略了解就是赋分，主观分数是通过因子分析中用户打分的后果得出分数。
4.5.2 主观赋分
度量模型 2.0 主观指标赋分采纳的是分箱法，选取过来一段时间的数据，查看其最小值、最大值及平均值、中位数的散布状况，进而设定本身的主观评分标准。这种根据数据等频进行的划档赋分，理论得出的分数不够敏锐，看不出来每个指标数据变动的状况。另外，主观赋分延用主观用户打分的非常值，因为之前没有基准线和目标值的比照，加权之后的分数难以直观的裸露问题。这会导致大家容易疏忽实在的体验问题。新模型赋分则采纳了区间映射法。简略了解，当期要测量值在度量规范区间内实现的状况。咱们也是在比照多种赋分办法后发现该种赋分形式最直观、清晰反映数据变动状况。
采纳该种赋分形式须要留神两个方面内容。
- 数据分布要合乎正态分布特色：在咱们选取的指标中，大部分的数据间接出现正态分布特色，显著性测验 p 值大于 0.05。而小局部的数据并未出现这种特色，须要进行数据特定函数关系转化使其出现正态分布特色。
- 度量值范畴选取 2 个标准差：咱们选取 2 个标准差的起因一方面是根据正态分布特色，95.45% 的数据是在 2 个标准差范畴内，另一方面也是结合实际状况尤其是历史数据变动的笼罩无余，既不好高骛远也能捕风捉影。
以上是咱们降级模型的全过程，那么最初咱们介绍下降级后的度量模型在理论产品运行的状况。
五、小结
最初，通过一张全景图咱们回顾下度量模型降级的内容。比照旧模型，新的模型在分数映射上更加敏锐，减少双面感知评估框架更迷信，丰盛后的指标库对问题的洞察更聚焦。
降级后的度量模型在 C 端产品上曾经运行近一年了，它以全新的视角让咱们看到了实在的业务倒退的状况。在大环境的变动、业务的变动、用户需要变动下，度量进去的内容第一工夫能让咱们观测到这种变动。既而咱们可能无效的抓住工夫窗口期，迅速做了响应的策略进行体验改良落地。
作者：京东物流 穆倩雯
起源：京东云开发者社区