共计 11531 个字符，预计需要花费 29 分钟才能阅读完成。
深度学习利用篇 - 举荐零碎[11]：举荐零碎的组成、场景转化指标（pv 点击率,uv 点击率, 曝光点击率）、用户数据指标等评估指标详解
1. 举荐零碎介绍
在网络技术一直倒退和电子商务规模不断扩大的背景下，商品数量和品种快速增长，用户须要破费大量工夫能力找到本人想买的商品，这就是信息超载问题。为了解决这个难题，个性化举荐零碎（Recommender System）应运而生。
个性化举荐零碎是信息过滤零碎（Information Filtering System）的子集，它能够用在很多畛域，如电影、音乐、电商和 Feed 流举荐等。个性化举荐零碎通过剖析、开掘用户行为，发现用户的个性化需要与趣味特点，将用户可能感兴趣的信息或商品举荐给用户。与搜索引擎不同，个性化举荐零碎不须要用户精确地形容出本人的需要，而是依据用户的历史行为进行建模，被动提供满足用户趣味和需要的信息。
1994 年明尼苏达大学推出的 GroupLens 零碎个别被认为是个性化举荐零碎成为一个绝对独立的钻研方向的标记。该零碎首次提出了基于协同过滤来实现举荐工作的思维，尔后，基于该模型的协同过滤举荐引领了个性化举荐零碎十几年的倒退方向。
1.1 利用场景
- 电商畛域
在电商畛域，比拟典型的是亚马逊的个性化举荐零碎，被称为“举荐零碎之王”。亚马逊有 20%~30% 的销售额来自于举荐零碎。次要模式包含个性化举荐列表、相干举荐列表及打包销售等。
- 个性化举荐列表：将那些和用户喜爱的物品比拟类似的物品，或者用户好友喜爱的物品举荐给用户。
- 相干举荐列表：当用户购买一件物品后，将那些购买此物品的用户也常常购买的其余物品，或者浏览过此物品的用户也常常购买的其余物品举荐给用户。
- 打包销售：当用户单击某个物品的购买按钮时，将那些其余用户在购买此物品时，连同购买的其余物品举荐给用户。
电影视频
- Netflix: 基于物品的举荐
- YouTube,Hulu
音乐
- Pandora: 专家标记
- Last.fm: 用户行为
社交网络
浏览
- Goodle Reader
基于地位的服务
- Foursquare
个性化邮件
- Tapestry
广告
1.2 举荐零碎的办法
传统的个性化举荐零碎办法次要有：
- 协同过滤举荐（Collaborative Filtering Recommendation）：该办法是利用最宽泛的技术之一，须要收集和剖析用户的历史行为、流动和偏好。它通常能够分为两个子类：基于用户（User-Based）的举荐和基于物品（Item-Based）的举荐。该办法的一个要害劣势是它不依赖于机器去剖析物品的内容特色，因而它无需了解物品自身也可能精确地举荐诸如电影之类的简单物品；毛病是对于没有任何行为的新用户存在冷启动的问题，同时也存在用户与商品之间的交互数据不够多造成的稠密问题。值得一提的是，社交网络或地理位置等上下文信息都能够联合到协同过滤中去。
- 基于内容过滤举荐（Content-based Filtering Recommendation）：该办法利用商品的内容形容，形象出有意义的特色，通过计算用户的趣味和商品形容之间的类似度，来给用户做举荐。长处是简略间接，不须要根据其余用户对商品的评估，而是通过商品属性进行商品类似度度量，从而举荐给用户所感兴趣商品的类似商品；毛病是对于没有任何行为的新用户同样存在冷启动的问题。
- 组合举荐（Hybrid Recommendation）：使用不同的输出和技术独特进行举荐，以补救各自举荐技术的毛病。
近些年来，深度学习在很多畛域都获得了微小的胜利。学术界和工业界都在尝试将深度学习利用于个性化举荐零碎畛域中。深度学习具备优良的主动提取特色的能力，可能学习多层次的形象特色示意，并对异质或跨域的内容信息进行学习，能够肯定水平上解决个性化举荐零碎冷启动问题
1.3 举荐零碎的组成
（一）、画像
1、定义：画像指的是从用户产生的各种数据中开掘和抽取用户在不同属性上的标签，如年龄、性别、职业、支出、趣味等。
2、画像生成门路
- 用户行为日志收集和存储（离线数据和实时数据）
- 用户行为提取，特色加工，生成特征向量（动态特色和动静特色）
- 利用有用户属性标签的数据作为有标注数据来训练画像预测模型
- 对更多的有标签用户属性来进行预测
3、画像分类
依照数据类型划分：（目前应用较多的分类）
- 动态画像：用户绝对稳固的信息。毛病：实时性不够，过于毛糙
- 动静画像：用户一直变动的行为信息，依据用户行为将物品的结构化后果传递给用户
依照画像性质进行划分
- 定性画像（定性描述用户或内容的特色信息）
- 定量画像（统计类标签，预测类标签）
- 定性画像 + 定量验证
在以上的三种画像分类中定性画像，是通过用户的行为习惯，挖掘出的标签信息，个别能够深刻持续开掘用户的动机，但这类的画像标签，个别无奈用数据间接验证，只能定性了解。与定性画像不同，定量画像有充沛数据验证，能够通过数据统计和剖析来进行验证，但他对统计的要求比拟高，且个别难以开掘用户情感偏向和行为操作背地的起因和深层次的动机。最优的办法就是第三种将二者联合起来的办法，这种办法既能通过数据形容也能从用户行为中验证画像的准确性，但将二者联合的办法会存在工作量大的问题，且定性画像与定量画像之间可能存在相悖的论断，须要较为丰盛的教训进行论证。
4、画像验证
- 准确率
- 覆盖率
准确率指的是被打上正确标签的用户比例，准确率是用户画像最外围的指标，一个准确率非常低的标签是没有利用价值的。通常会通过以下两种办法来评估标签的准确率
- 在标注数据集里留一部分测试数据用于计算模型的准确率
- 在全量用户中抽一批用户，进行人工标注，评估准确率（数据更可信）
覆盖率指的是被打上标签的用户占全量用户的比例，同理一个覆盖率太低的标签，是没有利用价值的。通常对于覆盖率的评估是以某一个标签笼罩的用户比例和笼罩用户的人均标签数作为评估规范
（二）、召回
1、定义：从全量的文章库中依照肯定的规定筛选出一个文章候选池，个别的规定有：依照机型，地区，热点和用户 - 文章协同过滤
2、召回的作用：从全量内容中，第一次粗过滤，筛选出大概率适宜展现给用户的内容，缩小后续计算的复杂度
3、罕用召回办法：
基于热点召回：基于热点事件的召回，通过对热点事件相干的内容进行计算，同时匹配可能感兴趣的用户，进而进行举荐展现
基于地区召回：计算用户和内容的地位信息，以地理位置作为匹配关联的外围因素，进而圈选出相匹配的用户和内容
协同召回（基于用户和内容两种召回办法）：次要分为基于用户的协同召回和基于内容的协同召回两种办法，以基于用户的协同召回为例进行阐明：
当须要对用户 A 进行举荐时，找到和 A 有类似趣味的其余用户群 B，把 B 喜爱看的，而 A 还没有看过的内容进行召回，进而举荐给 A 用户
（三）、排序
1、定义：是举荐零碎中召回后的一个模块，次要是一个或多个指标为根据，进行打分，个别将得分依照倒序进行排列
2、排序的作用
高效：帮忙用户找到想要的商品（新闻 / 音乐 /……），挖掘长尾
降噪：将反复的文章进行合并，剔除垃圾信息
进步用户拜访的频次：让用户频繁拜访，并总是能找到他们想要浏览和购买的物品
3、掂量指标
CTR (Click Through Rate)：当给用户举荐他实在喜爱的内容时，用户就会产生比拟大的点击志愿，进而产生较高的点击。
2. 举荐零碎评估指标
2.1 场景转化指标
场景转化指标是将用户从一个场景转化到咱们心愿的场景的成果。这个过程次要是对用户的行为进行剖析，这类指标关注举荐零碎的漏斗成果，次要有：
pv 点击率
PV(访问量)：PageView, 即页面浏览量或点击量，用户每次刷新即被计算一次。
$$pv 点击率 =\frac{pv 点击}{pv}$$
pv 点击率是比拟经典的指标，计算用户每次进入页面的状况。他能粗略掂量转化的成果，然而它毛病也比拟显著：多数用户奉献大量点击会影响这个指标的作用成果。
uv 点击率
UV(独立访客)：Unique Visitor, 拜访您网站的一台电脑客户端为一个访客。00:00-24:00 内雷同的客户端只会被计算一次。
$$uv 点击率 =\frac{点击 uv}{整个产品的 uv}$$
分母是整个产品的 uv, 而不是有点击行为的 uv。uv 点击率绝对于 pv 点击率的劣势在于，它不受用户行为门路影响（不受反复浏览某个产品的影响），能记录用户在一个残缺 session 的点击成果。据理解好多互联网公司的剖析指标也将 pv 点击率给为 uv 点击率了
曝光点击率
$$ 曝光点击率 =\frac{点击量}{曝光次数}$$
曝光点击率适宜反对上拉、下拉翻页的产品。相比 pv 点击率，曝光点击率随用户刷屏次数增大而变大，能更实在记录每一屏的转化状况。
uv 转化率
转化率：指在一个统计周期内，实现转化行为的次数占推广信息总点击次数的比率。
$$uv 转化率 =\frac{点击 uv}{进入 uv}$$
与 uv 转化率绝对的是页面流失率。uv 转化率掂量对用户的转化状况，通过咱们的产品设计能把多大比例的用户从一个场景转化到咱们心愿的另一个场景外面去。uv 转化率绝对于后面两个指标，更靠得住，不容易受到挑战。
uv 转化率尤其掂量入口型产品，比方视频 app 的首页，如果用 uv 点击率去掂量就不太迷信，因为个别用户在首页点击某个视频后，会进入下一层页面深度生产，很少会返回首页持续生产，这个用户曾经被转化，但不再奉献点击，所以 uv 转化率更加正当。
如果某页面的转化率较低，则示意大部分人对该页面不感兴趣，遵循“不行就分”的简略准则，这样的页面去掉可能对产品更好。
人均点击次数
$$ 人均点击次数 =\frac{点击量}{点击 uv}$$
人均点击次数与 uv 转化率相辅相成。uv 转化率示意页面的生产宽度（吸引用户的比例），而人均点击次数示意页面的生产深度（每个用户的生产的次数）。
2.2 生产满意度
留存率
$$ 留存率 =\frac{x 日后仍沉闷的用户数}{x 日前的用户数}$$
留存率很重要，每家公司都很器重，但它很艰巨作为算法的优化指标，因为工夫周期长，变量会很多。比方计算视频 app 首页的留存率就非常艰巨，因为当中可能会上线大剧；和热门综艺。尽管难以掂量，但留存率是产品技术团队的重要指标：市场部负责拉新用户，产品技术团队负责服务用户，把客户留下来。
停留时间长
内容消费型产品，点击率很难反馈举荐的真正成果，把用户骗进了心愿的场景生产，然而发现假相的用户转身就走，这反而阐明这个举荐是失败的。所以须要引入停留时长来量化用户生产成果。音频类的就对应播放时长。
播放完成率
$$ 播放完成率 =\frac{播放时长}{视频时长}$$
因为停留时长受视频时长的锚定效应影响，稍长一点的视频，即便用户不感兴趣，然而均匀来说也会比短视频要停留更长一些。因而，播放实现指标就能肯定水平下来补救这个问题，然而短视频人造的完成率要比长视频高，也是须要在看指标时留神。
2.3 离线评估验证办法
Holdout 测验
Holdout 测验是根底的离线评估办法，它将原始的样本汇合随机划分为训练集和验证集两局部，比方 70% 训练集，30% 测试集（但当初很多机器学习框架、深度学习框架中都减少了验证集，行将整个数据集分成三份，70% 训练集，10% 验证集，20% 测试集）。
Holdout 测验的毛病也很显著，即在验证集上计算出来的评估指标与训练集和测试机的划分有间接关系，如果仅进行大量 Holdout 测验，则失去的论断存在很大的随机性（在划分数据集的时候尽量保障其随机性）。
穿插测验
k-fold 穿插验证
先将全副样本划分成 k 个大小相等的样本子集，顺次遍历这 k 个子集，每次都把以后子集作为验证集，其余所有子集作为训练集，进行模型的训练和评估，最初将所有次的评估指标的平均值作为最终的评估指标，在理论教训中，常常取值为 10。
留一验证
每次留下 1 个样本作为验证集，其余所有样本作为测试集，样本总数为 n，顺次遍历所有 n 个样本，进行 n 次验证，再将评估指标求均匀失去最终指标。在样本总数较多的状况下，留一验证法的工夫开销极大，事实上，留一验证是留 p 验证的特例，留 p 验证是指每次留下 p 个样本作为验证集，而从 n 个元素中抉择 p 个元素 有 $C_{n}^p$ 种可能，因而它的工夫开销远远高于留一验证，故很少在理论中应用。
自助法
不论是 holdout 测验还是穿插测验，都是基于划分训练集和测试集的办法进行模型评估的，当样本规模比拟小时，将样本集进行划分，会进一步放大训练集，有影响模型的训练成果。
自助法（Bootstrap）是基于自助采样法的测验办法：对于总数为 n 的样本汇合，进行 n 次有放回的随机抽样，失去大小为 n 的训练集，在 n 次采样过程中，有的样本会被反复采样，有的样本没有被抽出过，将这些没有被抽出的样本作为验证集进行模型验证，就是自助法的验证过程。
2.4 离线评估的次要指标
离线评估是针对零碎本身的举荐算法模型的评估，通过评估具体指标来抉择适合的举荐算法；举荐零碎从接收数据到产生举荐后果，再依据后果的硬性从新批改参数，而这个过程是通过机器学习训练得出的模型次要有以下评估指标：
准确率
分类准确率是指分类正确的样本占总样本个数的比例：
$$accuracy=\frac{n_{correct}}{n_{total}}$$
$n_{correct}$ 为被正确分类的样本个数，$n_{total}$ 为总样本个数，准确率是分类工作中比拟直观的评估指标，但其优缺点也显著。
长处
- 解释性强
毛病
- 类别散布不平均时，占比大的类别往往成为影响准确率的次要因素（极其的状况比方正样本 1%，负样本 99% 时）
准确率和召回率
- 准确率（Precision）是分类正确的正样本个数占分类器断定为正样本的样本个数的比例
- 召回率（Recall）是分类正确的正样本个数占真正正样本个数的比例
排序模型中，通常没有一个确定的阈值把预测后果间接断定为正样本还是负样本，而是采纳 Top N 排序后果的准确率（Precision@N）和召回率（Recall@N）来掂量排序模型的性能，即认为模型排序的 Top N 的后果就是模型排定的正样本，而后计算准确率和召回率。
准确率和召回率是矛盾对立的两个指标：为了进步准确率，分类器须要尽量再“更有把握时”才把样本预测为正样本，但往往因为过于激进而漏掉很多“没有把握”的正样本，导致召回率升高。
因而应用 F1-score 进行和谐（也叫 F -measure），定义为：
$$F1=\frac{2*Precision*Recall}{Precision+Recall}$$
均方根误差
Root Mean Square Error，RMSE 常常被用来掂量回归模型的好坏，应用点击率预估模型构建举荐零碎时，举荐零碎预测的其实是样本为正样本的概率，RMSE 被定义为：
$$RMSE=\sqrt{\frac{1}{n}\sum_{i=1}^n(y_{i}-y_{pred})}$$
$y_{i}$ 是第 i 个样本的实在值，$y_{pred}$ 是第 i 个样本的预测值，n 为样本的个数。
毛病
个别状况下可能很好的反映回归模型预测值与实在值的偏离水平，但在理论利用时，如果存在个别偏离水平十分大的离群点，那么即便离群点的数量非常少，也会让 RMSE 指标变得很差
为了解决这个问题，引入了鲁棒性更强的均匀相对百分比误差（Mean Absolute Percent Error，MAPE）进行相似的评估，MAPE 定义如下：
$$MAPE=\sum_{i=1}^n |\frac{y_{i}-y_{pred}}{y_{i}}|*\frac{100}{n}$$
相比 RMSE，MAPE 相当于把每个点的误差进行了归一化，升高了个别离群点带来的绝对误差的影响。
对数损失函数
LogLoss，在一个二分类问题中，LogLoss 定义为：
$$LogLoss=-\frac{1}{N}\sum_{i=1}^N(y_{i}logP_{i}+(1-y_{i})log(1-P_{i}))$$
其中 $y_{i}$ 为输出实例 $x_{i}$ 的实在类别，$p_{i}$ 为预测输出实例 $x_{i}$ 是正样本的概率，N 为样本总数。
LogLoss 是逻辑回归的损失函数，大量深度学习模型的输入层是逻辑回归或 softmax，因而采纳 LogLoss 作为评估指标可能十分直观的反映模型损失函数的变动，站在模型的角度来讲，LogLoss 十分适于察看模型的收敛状况。
P- R 曲线
P- R 曲线的横轴是召回率，纵轴是准确率，对于一个排序模型来说，其 P - R 曲线上的一个点代表在某一阈值下，模型将大于该阈值的后果断定为正样本，将小于该阈值的后果断定为负样本时，排序后果对应的召回率和准确率
整体 P - R 曲线是通过从高到低挪动正样本阈值生成的，如下所示：
P- R 曲线下的面积（Area Under Curve，AUC）可能量化 P - R 曲线的优劣，AUC 越大，排序模型的性能越好。
ROC 曲线
ROC 曲线的全称时 the Receiver Operating Characteristic 曲线，中文译为「受试者工作特色曲线」，ROC 曲线最早诞生于军事畛域，而后在医学畛域利用甚广，「受试者工作特色曲线」也来源于该畛域。
ROC 曲线的横坐标时 False Posotive Rate（FPR，假阳性率），纵坐标时 True Positive Rate（TPR，真阳性率），FPR 和 TPR 的计算方法如下：
$$FPR=\frac{FP}{N}$$
$$TPR=\frac{TP}{P}$$
上式中 P 是实在的正样本数量，N 是实在的负样本数量，TP 指的是 P 个正样本中被分类器预测为正样本的个数，FP 指的是 N 个负样本中被分类器预测为正样本的个数。
ROC 曲线的绘制和 P - R 曲线一样，通过一直挪动模型正样本阈值生成的，ROC 曲线下的面积就是 AUC
均匀精度均值
均匀精度均值（Mean Average Precision，mAP）是另一个在举荐零碎、信息检索畛域罕用的评估指标，该指标其实是对均匀精度（Average Precision，AP）的再次均匀。
假如举荐系统对某一用户测试集的排序后果如下所示：
| 举荐序列 | N=1 | N=2 | N=3 | N=4 | N=5 | N=6 |
|---|---|---|---|---|---|---|
| 实在标签 | 1 | 0 | 0 | 1 | 1 | 1 |
其中，1 代表正样本，0 代表负样本
那么对于上述的序列，precision@N 别离是多少呢？
| 举荐序列 | N=1 | N=2 | N=3 | N=4 | N=5 | N=6 |
|---|---|---|---|---|---|---|
| 实在标签 | 1 | 0 | 0 | 1 | 1 | 1 |
| precision@N | 1/1 | 1/2 | 1/3 | 2/4 | 3/5 | 4/6 |
AP 的计算只取正样本处的 precision 进行均匀，即 AP= (1/1 + 2/4 + 3/5 + 4/6) =0.6917
那么 mAP 是什么呢？
如果举荐系统对测试集中的每个用户都进行样本排序，那么每个用户都会计算出一个 AP 值，再对所有用户的 AP 值进行均匀，就失去了 mAP，也就是 mAP 是对精确度均匀的均匀。
须要留神的是，mAP 的计算和 P - R 曲线、ROC 曲线的计算方法齐全不同，因为 mAP 须要对每个每个用户的样本进行分用户排序，而 P - R 曲线和 ROC 曲线均是对全量测试样本进行排序。
NDCG
CG
CG，cumulative，是 DCG 的前身，只思考到了相关性的关联水平，没有思考到地位的因素，它是一个搜寻后果相关性分数的综合，指定地位 p 上的 CG 为：
$$CG_{p}=\sum_{i=1}^p rel_{i}$$
$rel_{i}$ 代表 i 这个地位的相关度。
比方搜寻“举荐零碎”图书时，最现实的后果时 R1、R2、R3，但呈现的后果是 R2、R3、R1，CG 值是没有变动的。
DCG
DCG，Discounted 的 CG，就是在每一个 CG 的后果上除以一个折损值，目标是为了让排名越考前的后果越能影响最初的后果，假如排序越靠后，价值越低，那么到第 i 个地位时，价值为 $\frac{1}{log_{2}(i+1)}$，那么第 i 个后果产生的效益是 $rek_{i}*1/log_{2}(i+1)$，所以 DCG 表达式为：
$$DCG_{p}=\sum_{i=1}^p \frac{rel_{i}}{log_{2}(i+1)}$$
$$=rel_{i}+\sum_{i=2}^{n} \frac{rel_{i}}{log_{2}(i+1)}$$
另外一种比拟罕用的公式，减少相关度影响比重的 DCG 计算形式是：
$$DCG_{p}=\sum_{i=1}^p \frac{2^{rel_{i}}-1}{log_{2}(i+1)}$$
百科中写到后一种更多用于工业。当然相关性值为二进制时，即 $rel_{i}$ 在 0,1，二者后果是一样的。当然 CG 相关性不止是两个，能够是实数的模式。
NDCG
NDCG，归一化的 DCG，因为搜寻后果随着检索词的不同，返回的数量是不一样的，而 DCG 是一个累加的值，没法针对两个不同的检索后果进行归一化出力，这里是除以 IDCG。
$$NDCG_{p}=\frac{DCG}{IDCG_{p}}$$
IDCG 为现实状况下的最大的 DCG 的值，为：
$$IDCG_{p}=\sum_{i=1}^{REL} \frac{2^{rel_{i}}-1}{log_{2}(i+1)}$$
其中 $|REL|$ 示意，后果依照相关性从大到小的程序排序，取前个后果组成的汇合，也就是依照最优的形式对后果进行排序。
覆盖率
$$ 覆盖率 =\frac{举荐的物品数}{总物品数} $$
覆盖率最简略的定义是，举荐零碎可能举荐进去的物品占总物品的比例，将更多的物品举荐（曝光）进来，只有曝光进来才有被用户“生产”的可能；覆盖率越高表明模型可能针对更多的 item 产生举荐，从而促成长尾效应开掘。
开掘长尾的能力
通过日志剖析，咱们能够晓得哪些举荐的物品是风行的，哪些是长尾。拿视频举荐来举例，咱们能够依据二八定律，将电影播放量降序排列，播放量占总播放量 80% 的后面的电影，算作热门电影，前面的当做长尾。
在度量举荐零碎长尾能力时，咱们能够从如下三个维度来度量：
- 所有长尾举荐物品中每天有多少比例被散发进来了
- 有多少比例的用户，举荐过了长尾物品
- 长尾内容的转化状况和产生的商业价值
多样性
用户的趣味会扭转的，而且有些产品的用户不止一个，同一个用户的趣味也会受到时间段、情绪、节日等多种因素的影响，在举荐列表中插入不同类别的产品来进步多样性。
时效性
不同的产品有不同的时效性，比方电商类须要的时效性不是很高，然而新闻资讯、短视频这类产品，就须要很高的时效性、所以针对不同产品甚至产品下不同的类别，设置不同的时效性，这也是进步举荐品质的路径之一。
所以时效性个别分为四个级别：日级、小时级、分钟级、秒级。咱们能够依据不同的产品状态，不同的业务场景等因素来进行评估，选出产品所属的时效性。
2.5 Replay
动静离线评估办法
传统离线评估办法和动静离线办法比照
传统离线办法：模型不会随着评估的进行而更新，假如用一个月得测试数据评估一个举荐零碎，如果评估过程是动态的，这就意味着当模型对月末得数据进行预测时，模型曾经进行更新近 30 天了，这不仅不合乎工程实际，而且会导致模型成果评估得失真
动静离线评估办法：先依据样本产生工夫对测试样本由早到晚进行排序，再用模型依据样本工夫顺次进行预测，在模型更新的工夫点上，模型须要增量学习更新工夫点前的测试样本，更新后持续进行后续的评估。
毫无疑问，动静评估的过程更靠近实在的线上环境，评测后果也更靠近客观情况，如果模型更新的频率继续减少，快到接管到样本就更新，整个动静评估的过程也变成逐个样本回放的精准线上仿真过程，这就是经典的仿真式离线评估办法 -Replay。
Replay 办法不仅实用于简直所有举荐模型的离线评估，而且是强化学习类模型惟一的离线评估办法。
Replay 的理论实现中有一点须要特地留神的是：样本中不能蕴含任何「将来信息」，要防止数据穿梭的景象产生
A/ B 测试与线上评估
上文介绍的离线评估指标无奈还原实在的线上环境，简直所有的互联网公司，线上 A /B 测试都是验证新模块、新性能、新产品是否无效的次要办法。
又称「分流测试」或「分桶测试」，是一个随机试验，通常被分为实验组和对照组。利用控制变量法，放弃繁多变量进行 A、B 两组的数据比照，并失去论断。
线上 A / B 测试无奈被代替的起因次要有以下三点：
离线评估无奈齐全打消数据有偏（data bias）景象的影响，因而失去的离线评估后果无奈齐全代替线上评估后果
离线评估无奈齐全还原线上的工程环境，比方申请提早、数据失落、标签数据缺失等，离线评估比拟理想化，后果存在失真景象
线上零碎的某些商业指标再离线评估中无奈计算
A/ B 测试的分桶准则
须要留神样本等独立性和无偏性，同一用户在测试的全程中只能被分到同一个桶中。
在理论的场景中，同一 App 或者网站须要进行多组不同类型的 A / B 测试，统同一业务的不同模块也会进行 A / B 测试（比方举荐零碎中的召回层、排序层、展现层等），这种状况下不同层之间势必会产生烦扰，同层之间也可能因为分流策略不当导致指标失真。
谷歌在其试验平台论文：Overlapping Experimen Infrastructure: More, Bette, Faster Experimentation 具体介绍了试验流量分层和分流的机制。A/ B 测试分流和分层的机制能够概括为：
层与层之间的流量正交，即层与层之间的独立试验的流量是正交的，即试验中每组的流量穿梭该层后，都会被再次随机打散，且平均的散布再上层的每个试验中
同层之间的流量互斥，即
同层之间进行多组 A / B 测试，不同测试之间的流量是不重叠的
一组 A / B 测试中实验组和对照组的流量是不重叠的，是互斥的
线上 A / B 测试的评估指标
不同业务背景关注的指标可能不一样，同一类型不同模块的业务下关注的指标也不一样，电商中常常关注的是：点击率、转化率、下单率、GMV、复购率等，娱乐征询类平台关注的是：点击率、浏览时长、留存率等。
在进行 A / B 测试时，进行指标的比照和模型策略等的验证是比拟有说服力的。
Interleaving 线上评估办法
2013 年微软提出了 Interleaving 线上评估办法，被当作时线上 A / B 测试的预选阶段进行候选算法的疾速筛选，从大量初始想法中筛选出大量优良的举荐算法，再对放大的算法汇合进行传统的 A / B 测试，以侧拉他们对用户行为的长期影响。
应用 Inter leaving 进行疾速线上测试。用灯泡代表候选算法。其中，最优的获胜算法用红色示意。Interleaving 可能疾速地将最后的候选算法汇合进行缩减，相比传统的 AB Test 更快地确定最优算法。
A/ B 测试存在的统计学问题
A/ B 测试尽管是样本进行随机调配，然而难免会存在散布不平均得状况，咱们都晓得二八准则，当对平台用户进行分流时，没有方法保障沉闷用户也能被均分，因而一种可行的办法就是不对测试人群进行分组，而是让所有测试者都能够自在的抉择要测试的物品，在试验完结时，统计每个人抉择不同物品的比例，进行相干的数据统计（有点像做选择题哈哈），这种计划的长处在于：
打消了 A / B 测试者本身属性散布不均的问题
通过给予每个人雷同的权重，升高了沉闷用户对后果的影响
这种不辨别 A / B 组，而是把不同的被测对象同时提供给受试者，最初依据守试者的抉择得出评估后果的办法称为——Interleaving 办法。
Interleaving 办法的优缺点
长处：
- 所需样本少
- 测试速度快
- 后果与 A / B 测试无显著差别
毛病：
- 工程实现的框架较 A / B 测试简单，试验逻辑和业务逻辑纠缠在一起，业务逻辑会被烦扰
- Interleaving 办法只是对“用户对算法举荐后果偏好水平”的绝对测量，不能得出一个算法实在的体现，如果须要晓得某个算法的具体指标晋升，不适宜应用 Interleaving
2.6 用户数据指标
所谓的用户指标就是从用户的角度去掂量所举荐产品的成果，是否满足用户的需要，能不能给用户带来惊喜，或者引发用户搜寻更多产品等，能够从以下几个规范来掂量：
举荐命中率 / 准确度
举荐命中率 / 准确度就是所举荐的产品用户喜不喜欢的最直观的指标，比方举荐的商品，用户有没有退出购物车或者下单，举荐的音乐用户有没有珍藏或收听，举荐的课程用户有没有学习等，都能够用来掂量用举荐的命中率。
用户的喜爱水平
用户的行为反馈出用户对于举荐产品的青睐水平，比方：举荐的歌曲用户听了之后有没有珍藏，珍藏之后有没有分享进来；举荐的商品有没有浏览，浏览后有没有退出购物车，退出购物车后有没有购买等；不同的行为体现了不同的喜爱水平，这一指标很好的掂量举荐产品的成果。
产品对于用户的新颖性
举荐用户没有接触过的产品，不肯定是用户喜爱的，然而能够晋升用户的摸索欲望，从而获取更残缺的用户趣味。
更多优质内容请关注公重号：汀丶人工智能
多样性
用户的趣味是多样的，在做举荐的时候须要给用户提供多样的物品，能够开掘新用户的趣味点，拓展用户的趣味范畴，晋升用户的体验
