导读： 高德的愿景是：连接真实世界，让出行更美好。为了实现愿景，我们要处理好 LBS 大数据和用户之间的智能链接。信息检索是其中的关键技术，而搜索建议又是检索服务不可或缺的组成部分。
本文将主要介绍机器学习在高德搜索建议的具体应用，尤其是在模型优化方面进行的一些尝试，这些探索和实践都已历经验证，取得了不错的效果，并且为后来几年个性化、深度学习、向量索引的应用奠定了基础。
对搜索排序模块做重构
搜索建议（suggest 服务）是指：用户在输入框输入 query 的过程中，为用户自动补全 query 或 POI（Point of Interest，兴趣点，地理信息系统中可以是商铺、小区、公交站等地理位置标注信息），罗列出补全后的所有候选项，并进行智能排序。
我们希望通过 suggest 服务：智能提示，降低用户的输入成本。它的特点是：响应快、不承担复杂 query 的检索，可以把它理解为一个简化版的 LBS 领域信息检索服务。
和通用 IR 系统一样，suggest 也分为 doc(LBS 中的 doc 即为 POI) 的召回和排序两个阶段。其中，排序阶段主要使用 query 和 doc 的文本相关性，以及 doc 本身的特征（weight、click），进行加权算分排序。
但随着业务的不断发展、特征规模越来越大，人工调参逐渐困难，基于规则的排序方式已经很难得到满意的效果。这种情况下，为了解决业务问题，将不得不打上各种补丁，导致代码难以维护。
因此，我们决定对排序模块进行重构，Learning to Rank 无疑是一个好的选择。
面临的挑战：样本构造、模型调优
Learning to Rank（LTR）是用机器学习的方法来解决检索系统中的排序问题。业界比较常用的模型是 gbrank，loss 方案用的最多的是 pair wise，这里也保持一致。一般应用 LTR 解决实际问题，最重要的问题之一就是如何获得样本。
首先，高德地图每天的访问量巨大，这背后隐藏的候选 POI 更是一个天文数字，想要使用人工标注的方法去获得样本明显不现实。
其次，如果想要使用一些样本自动构造的方法，比如基于用户对 POI 的点击情况构建样本 pair，也会遇到如下的问题：
- 容易出现点击过拟合，以前点击什么，以后都给什么结果。
- 有时，用户点击行为也无法衡量真实满意度。
- suggest 前端只展示排序 top10 结果，更多的结果没有机会展现给用户，自然没有点击。
- 部分用户习惯自己输入完整 query 进行搜索，而不使用搜索建议的补全结果，统计不到这部分用户的需求。
对于这几个问题总结起来就是：无点击数据时，建模很迷茫。但就算有某个 POI 的点击，却也无法代表用户实际是满意的。
最后，在模型学习中，也面临了特征稀疏性的挑战。统计学习的目标是全局误差的一个最小化。稀疏特征由于影响的样本较少，在全局上影响不大，常常被模型忽略。但是实际中一些中长尾 case 的解决却往往要依靠这些特征。因此，如何在模型学习过程中进行调优是很重要。
系统建模过程详解
上一节，我们描述了建模的两个难题，一个是样本如何构造，另一个是模型学习如何调优。先看下怎么解决样本构造难题，我们解决方案是：
- 考量用户在出行场景的行为 session，不光看在 suggest 的某次点击行为，更重要的是，考察用户在出行场景下的行为序列。比如 suggest 给出搜索建议后，继续搜索的是什么词，出行的地点是去哪里，等等。
- 不是统计某个 query 下的点击，而是把 session 看作一个整体，用户在 session 最后的点击行为，会泛化到 session 中的所有 query 上。
详细方案
第一步，融合服务端多张日志表，包括搜索建议、搜索、导航等。接着，进行 session 的切分和清洗。最后，通过把输入 session 中，末尾 query 的点击计算到 session 中所有 query 上，以此满足实现用户输入 session 最短的优化目标。
如下图所示：
最终，抽取线上点击日志超过百万条的随机 query，每条 query 召回前 N 条候选 POI。利用上述样本构造方案，最终生成千万级别的有效样本作为 gbrank 的训练样本。
特征方面，主要考虑了 4 种建模需求，每种需求都有对应的特征设计方案：
- 有多个召回链路，包括：不同城市、拼音召回。因此，需要一种特征设计，解决不同召回链路间的可比性。
- 随着用户的不断输入，目标 POI 不是静态的，而是动态变化的。需要一种特征能够表示不同 query 下的动态需求。
- 低频长尾 query，无点击等后验特征，需要补充先验特征。
- LBS 服务，有很强的区域个性化需求。不同区域用户的需求有很大不同。为实现区域个性化，做到千域千面，首先利用 geohash 算法对地理空间进行分片，每个分片都得到一串唯一的标识符。从而可以在这个标识符（分片）上分别统计特征。
详细的特征设计，如下表所示：
完成特征设计后，为了更好发挥特征的作用，进行必要的特征工程，包括尺度缩放、特征平滑、去 position bias、归一化等。这里不做过多解释。
初版模型，下掉所有规则，在测试集上 MRR 有 5 个点左右的提升，但模型学习也存在一些问题，gbrank 特征学习的非常不均匀。树节点分裂时只选择了少数特征，其他特征没有发挥作用。
以上就是前面提到的，建模的第二个难题：模型学习的调优问题。具体来说就是如何解决 gbrank 特征选择不均匀的问题。接下来，我们详细解释下。
先看下，模型的特征重要度。如下图所示：
经过分析，造成特征学习不均衡的原因主要有：
- 交叉特征 query-click 的缺失程度较高，60% 的样本该特征值为 0。该特征的树节点分裂收益较小，特征无法被选择。然而，事实上，在点击充分的情况下，query-click 的点击比 city-click 更接近用户的真实意图。
- 对于文本相似特征，虽然不会缺失，但是它的正逆序比较低，因此节点分裂收益也比 city-click 低，同样无法被选择。
综上，由于各种原因，导致树模型学习过程中，特征选择时，不停选择同一个特征（city-click）作为树节点，使得其他特征未起到应有的作用。解决这个问题，方案有两种：
- 方法一：对稀疏特征的样本、低频 query 的样本进行过采样，从而增大分裂收益。优点是实现简单，但缺点也很明显：改变了样本的真实分布，并且过采样对所有特征生效，无法灵活的实现调整目标。我们选择了方法二来解决。
- 方法二：调 loss function。按两个样本的特征差值，修改负梯度（残差），从而修改该特征的下一轮分裂收益。例如，对于 query-click 特征非缺失的样本，学习错误时会产生 loss，调 loss 就是给这个 loss 增加惩罚项 loss_diff。随着 loss 的增加，下一棵树的分裂收益随之增加，这时 query-click 特征被选作分裂节点的概率就增加了。
具体的计算公式如下式：
以上公式是交叉熵损失函数的负梯度，loss_diff 相当于对 sigmod 函数的一个平移。
差值越大，loss_diff 越大，惩罚力度越大，相应的下一轮迭代该特征的分裂收益也就越大。
调 loss 后，重新训练模型，测试集 MRR 在初版模型的基础又提升了 2 个点。同时历史排序 case 的解决比例从 40% 提升到 70%，效果明显。
写在最后
Learning to Rank 技术在高德搜索建议应用后，使系统摆脱了策略耦合、依靠补丁的规则排序方式，取得了明显的效果收益。gbrank 模型上线后，效果基本覆盖了各频次 query 的排序需求。
目前，我们已经完成了人群个性化、个体个性化的建模上线，并且正在积极推进深度学习、向量索引、用户行为序列预测在高德搜索建议上的应用。
本文作者：高德技术小哥
阅读原文
本文为云栖社区原创内容，未经允许不得转载。