共计 8252 个字符，预计需要花费 21 分钟才能阅读完成。
导读
搜寻零碎中容易存在头部效应，中长尾的优质商品较难取得充沛的展现机会，如何破除零碎的马太效应，晋升展现后果的丰富性与多样性，助力中长尾商品成长是电商平台搜寻零碎的一个重要课题。其中，搜寻 EE 零碎在放弃排序后果根本稳固的根底上，通过将优质中长尾商品交叉至排序后果中将优质商品动静展现给用户，晋升用户体验与搜寻后果丰富性，是破除马太效应的一大助力。
本文将从搜寻 EE 近期的全量迭代登程，展示其链路演进的整体脉络，蕴含：EE 自适应动静探测模型——EE 场景建模形式降级——打分与交叉两阶段一致性降级——探测与天然流量全局联动优化四个阶段，梳理对搜寻 EE 的思考与下一步迭代方向。
全文目录：
1. EE 自适应动静探测模型
2. EE 场景建模形式降级
3. 打分与交叉两阶段一致性降级
4. 感知上下文的品牌店铺维度探测
5. 总结与瞻望
一、EE 自适应动静探测模型
传统 EE 模型从商品曝光置信度、打分置信度等角度登程，决策 EE 商品的展现地位以及交叉地位，较少从用户浏览用意与摸索志愿的差异化角度，来考量探测力度。其可能导致用户在宽泛浏览与筛选商品时，短少丰盛的商品抉择，在决策购买时反而交叉了摸索商品的误判情景，影响用户的搜寻体验，不能充分发挥搜寻 EE 零碎的摸索和利用 (Explore & Exploit) 两大能力。
针对以上探测错配状况，可尝试在 EE 模型中显式建模用户的“逛”、“买”摸索偏好，进一步联合偏好，自适应调整搜寻 EE 的利用与摸索力度。对于偏“逛”用户加强 EE 摸索力度，提供更丰盛的摸索展现；对于购买志愿显著的用户，提供更间接的购买抉择。通过对用户摸索偏好的显式建模，可能在晋升用户的转化效率的同时晋升搜寻后果丰富性。
1. 自适应摸索模型优化
相较于原有 EE 模型，自适应摸索对 EE 模型的自适应摸索能力进行了降级，次要体现在如下三点：（1）对用户摸索偏好进行差异化建模：” 逛 ” “ 买 ” 用户提供动静差异化探测力度，在转化效率和搜寻丰富性中获得均衡。（2）以用户浏览深度为子工作建模到 EE 模型中：以浏览深度作为用户志愿的重要指标，并建模到 EE 模型中，显式加强模型对用户浏览志愿的感知。（3）晋升模型对探索性特色利用性：对摸索偏好的显式建模，晋升探索性特色在模型中的学习权重，在 EE 过程中对摸索特色进行充分利用。
2. 计划实际
为了加强 EE 模型的自适应摸索能力，针对原有 EE 模型进行如下降级：
（1）摸索偏好网络 Explore-Net
在放弃原有的 EE 模型主网络 Exploit-Net 根底上，增加了摸索偏好网络 Explore-Net(图中左下绿色局部)，晋升模型对用户摸索用意的差异化建模。
①输出特色优化
思考到用户的摸索用意只与集体个性、搜索词相干，因而 Explore-Net 的输出特色仅应用用户侧、Query 侧中相干特色。
为进一步度量特色与摸索偏好的关联性，统计不同浏览深度下各特色的散布差别，剔除了未与浏览深度显著相干特色，如搜索词长度等，精简特色空间晋升预估精度。
②模型显性建模
EE 原模型的输出中蕴含探索性特色，但在进行搜寻排序工作中易被其余特色覆盖导致利用率不强，在摸索偏好建模中显式构建了摸索偏好网络 Explore-Net，对用户摸索用意进行独立建模构建，加强探索性特色的重要性。
优化后的 EE 模型具备 Exploit-Net 与 Explore-Net 双塔构造，Exploit-Net 对商品进行精准化打分，对候选商品进行充分利用；Explore-Net 对用户摸索志愿进行建模，依据用户偏好动静调整摸索力度，独特形成商品摸索与利用的残缺机制。
（2）用户浏览深度回归工作构建
在原有的训练过程根底上，增加了用户浏览深度回归工作(图中左上红色局部)，晋升模型对用户浏览志愿的感知性，加强 EE 模型的自适应摸索能力。
①辅助工作抉择
浏览深度作为用户浏览志愿的直观体现，体现了用户的摸索志愿，因而应用浏览深度预估工作作为模型训练的辅助工作, 对用户偏好进行显式建模。
在辅助工作类型的考量上，综合思考了将浏览深度划分不同区间进行预测的分类工作, 以及对浏览深度的回归工作。在试验中分类工作体现出较为显著的头尾倾向性，输入值散布不平均，实际中最终选用了回归工作作为辅助工作。
②回归工作设计
在样本数据分析中，发现用户的浏览深度差异化极大。为了均衡浏览深度的差别，保障模型输入值的平均性与差异性，对浏览深度标签进行了 log 平滑放缩，并选用 RMSE-loss 作为辅助工作的损失函数对浏览深度工作进行构建。
在模型训练中头尾样本绝对较少，对过浅和过深的两类样本预测准确性偏低。为均衡样本间差别，在损失函数的样本权重设计中，对由浅到深相应样本，其权重为先减小后增大的“凹形”权重，均衡头尾和腰部样本的准确性。
（3）Explore-Net 与主网络的二次交融
Explore-Net 和 Exploit-Net 进行了交融(图中中上红色局部)，加强模型整体对探索性特色的利用，晋升 EE 隐层 embedding 丰富性，对摸索偏好较强的用户晋升了不确定性打分，晋升摸索商品的范畴和丰盛度。
①特色交融
因为在用户浏览深度回归工作上对用户的摸索偏好进行了显式建模，Explore-Net 的输入 embedding 对探索性特色进行了高维抽取，可能对用户偏好进行自适应建模。
为让摸索偏好特色更好地参加到整体工作训练中，均衡打分的精准性与差异化，将 Explore-Net 的深层表征与 Exploit-Net 的深层表征进行拼接交融，晋升 EE 模型隐层 embedding 的丰富性和表征能力，晋升模型打分能力。
②不确定性预估交融
用户的摸索偏好与商品的不确定性预估有间接的相干关联。对于摸索用意较强的用户，晋升商品打分的不确定性，助力更丰盛的商品交叉到搜寻后果中，反之亦如此。因而在不确定性预估模块中，设计在摸索表征层面进行交融。
在不确定性预估（SVGP）模块中，将浏览深度回归网络输入值与方差预估局部进行了二次交融，对于摸索偏好较强的用户，显式强化了商品不确定性打分，晋升摸索力度。
3. 降级成果
（1）摸索利用成果剖析
①EE 模型打分后果剖析：
在雷同的预测集上，统计了均匀打分探测力度随浏览深度变动状况
论断：相比原模型，自适应摸索模型的均匀探测力度，随浏览深度增大而逐步增大，体现出 session 维度的显著差异化。
②EE 试验位下交叉商品地位剖析：
在各试验位下，统计均匀插入地位与浏览深度的变动状况。
论断：Test 桶后果，随着浏览深度增大，商品的均匀插入地位相比原模型有所前移，摸索力度加强。
外围论断：通过以上对摸索利用的成果剖析，自适应摸索模型合乎设计预期，在浏览深度较低的 session 下插入商品较少，摸索力度较弱；在浏览深度较深的 session 下，EE 模型的摸索志愿更强，模型摸索力度更大，交叉商品地位有所前移。
（2）线上成果
放弃搜寻效率持平的状况下，EE 外围指标晋升显著并全量上线，流动性、摸索成功率晋升近 0.5%。
商品建模形式思考：
差异化建模用户摸索用意后，EE 模块实现了对不同用户自适应调整摸索并获得了肯定收益。用户侧建模形式优化后，对商品侧建模形式进行降级革新，将是进一步晋升 EE 探测模型的正当切入点。
二、EE 场景建模形式降级
原主网络建模形式为点击率单任务，点击作为转化的前置行为，建模点击行为实现对后劲中长尾的摸索助力。同时在实践中，通过样本 label 进行动静权重调整，隐式建模转化属性，兼顾转化效率。
仅建模点击对高转化属性商品并不敌对，同时是对题目党行为的潜在激励，和 EE 模块优化整体生态环境、打造搜寻长期价值的初衷有所偏差。因而降级思路不再局限于仅关注曝光后取得点击这一前置链路行为，而是对整体转化链路进行建模，关注商品的多维度属性。
1.EE 场景建模形式优化
在原有根底上引入转化行为的显式建模工作，将主网络结构从点击单任务降级为点击转化多任务，以多任务形式加强不同行为的建模品质，实现对商品的更全面、更精确建模。
2. 计划实际
在 EE 自适应摸索机制根底上，EE 场景建模形式降级对原有模型进行了如下优化与降级：
（1）SVGP 模块交互方案设计
原模型中主网络和辅助模块在 SVGP 模块中交互，新版计划中辅助工作是否须要与 SVGP 模块进行交互? 即随机高斯过程是否须要同样作用于建模转化工作，是方案设计首要思考的问题。
具体试验中，发现 SVGP 会导致收敛后 AUC 指标在千分位级别升高，即其在引入不确定性性能的同时，会轻微升高模型成果。思考到目前 SVGP 模块已带来所需的摸索能力，难以通过多 SVGP 重叠形式带来收益。因而降级计划抉择将辅助工作构建成污浊工作，其仅建模商品属性而不构建对应的 SVGP 模块。
（2）多任务网络框架实现
EE 探测线上耗时较低，建模形式降级后需连续这一指标。尽管支流多任务构造 MMOE 性能更为优越，但线上耗时将有减少危险，因而抉择更轻量级的 share bottom 形式，在根本不减少线上耗时的状况下实现多任务建模。降级计划把多任务被设计为双任务模型，应用低层网络进行表征抽取，在高层维度应用两个 tower 别离建模主工作和辅助工作。
①工作组合选取
抉择双工作为 ctr 工作 +ctcvr 工作，思考到点击样本比订单样本更丰盛，ctr 正样本更多，对于须要大量疏导点的 SVGP 模块更为敌对。同时点击绝对购买行为的不确定性更高，在点击预测上引入不确定性打分更为正当，因而将 ctr 作为主工作、ctcvr 为辅助工作进行配置。
②模型构造迭代
前述迭代过程中模型构造如图两头所示，低层网络编码输出信息后应用两个浅层 tower 别离学习不同工作，该构造潜在毛病为一方面可能导致低层网络梯度被某个工作主导（例如 ctr 工作），另一方面下层 tower 过浅可能导致工作学习不够充沛。
进一步摸索仅共享特色、减少工作 tower 深度的网络结构。在多任务分数交融形式雷同的状况下，新构造线上体现更佳，因而最终构造如上图最右所示，应用较深的 tower head 建模各自工作，彼此间仅共享特色。
③交融形式迭代
上述模型在离线指标上获得了不错的收益且线上体现更优，但遇到了大盘效率和 EE 相干指标无奈同时晋升的问题。剖析梳理现有计划试验后，认为目前多任务交融形式绝对奢侈、存在改善晋升空间。
选取带权相加、间接相乘和幂次指数相乘三种形式。因为不足适合的实践量化剖析工具，因而抉择从试验后果登程选取最优交融形式和交融系数，为此开发了离线交融寻参模块，将 predict 时各 head 打分后果保留后，通过网格搜寻形式选取最优参数。
通过在多组数据上遍历寻优确定不同交融形式的最优系数，并基于此发展线上试验选取体现最优形式，最终咱们选取带权相加形式，在 EE 指标晋升的同时放弃大盘效率指标持平。
3. 降级成果
（1）模型建模降级成果剖析
①EE 模型打分区分度剖析：
在雷同的预测集上，统计了离线打分散布状况
论断：散布由橙色线条（原版）变为蓝色线条（降级后版本），整体更加平缓，保障不同商品彼此更具备区分度。
②EE 探测次数剖析：
统计线上打分散布状况，对线上探测状况进行剖析
论断：横轴为曝光数量大于等于 N，纵轴为 distinct sku 数量，下图表明模型降级后在仅摸索一次的 dst sku 数量上有所降落，缩小偏随机的一次性探测，但在屡次摸索商品上有所晋升，表明 test 更偏向于摸索中腰部商品。
（2）线上成果
搜寻效率持平状况下，流动性指标、摸索成功率晋升显著并全量上线。
链路一致性思考：
实现 EE 打分模型优化后，可能肯定水平实现摸索力度随用户摸索志愿的动静调整。但从整体 EE 链路上看 (候选集生成 → EE 打分 → 动静展现)，EE 动静交叉决策与打分阶段互相独立，其后果由一个 xgb 回归模型决定，两个阶段的联动关系和一致性水平弱。如何追随用户浏览志愿，将 EE 打分→ 动静展现 两个环节可能同步、一致性地调整，是进一步的优化方向。
三、打分与交叉端到端一致性降级
打分与交叉展现两个阶段一致性未能对齐，可能导致激进的模型打分无奈匹配上丰盛的交叉展现，无奈同步放大 EE 的探测成果。此外，两个阶段别离由两个模型独立管制，也减少了保护和迭代老本。
面对此一致性问题，降级了端到端打分与交叉计划。EE 模型中建模的用户浏览用意，不仅影响 EE 探测的力度大小，也同时决定动静交叉展现的策略强弱。两阶段的决策过程端到端实现，将流量进行更正当调配，宽泛用意的用户可能达到探测更激进、交叉更多的共振。
1. 端到端动静交叉机制优化点
端到端动静交叉机制在原有自适应摸索根底上，降级点次要体现在如下三点：
（1）浏览深度预估精准度降级：在 EE 摸索偏好建模网络 Explore-net 根底上，晋升浏览深度预测精准度。
（2）EE 流量精准化调配：依据 session 浏览深度分布，动态分配各深度下交叉商品量，晋升 EE 交叉商品占比调控可操作性。
（3）模型打分与动静交叉数量端到端一致性加强：采纳 EE 主模型的浏览深度，映射失去以后 session 下交叉商品数量，端到端解决 EE 交叉商品数量与 EE 商品打分两个工作，晋升两阶段一致性。
2. 计划实际
在 EE 自适应摸索机制根底上，端到端动静交叉机制对原有动静交叉机制进行了如下优化与降级：
（1）动静交叉机制端到端建模
①浏览深度预估工作优化
浏览深度代表了用户在 session 下的浏览志愿，是 EE 流量进行正当调配的基础性指标。在不同浏览深度的 session 下，匹配适宜数量的 EE 商品能在保障效率的前提下晋升搜寻后果丰富性。
进一步优化了自适应摸索模型中 Explore-Net 对浏览深度预估子工作的准确性，对其输入的浏览深度预估值进行评估，其准度显著高于原有 xgb 模型，能够对原有 xgb 模型进行替换。
②端到端建模浏览深度与模型打分
自适应摸索试验中应用 Explore-Net 对模型打分进行差异化摸索，其中的浏览深度预估工作能够沿用到交叉商品数量工作中，使模型具备端到端建模两个子工作的能力。
（2）正当设计浏览深度与交叉商品数量映射
在精确预估浏览深度的状况下，通过将浏览深度预估值映射到交叉数量中，保障交叉数量与模型打分一致性，在更深的 session 下有更多的商品交叉数量和更强的探测力度。
3. 降级成果
（1）动静交叉成果剖析
①浏览深度预测准度剖析：
比照两模型的浏览深度预估准确性，应用均方根对数误差 (Root Mean Squared Logarithmic Error, RMSLE) 指标进行掂量
论断：在同样的验证集下，Explore-net 模型的预估精度显著优于原模型。
②摸索打分、动静交叉一致性成果剖析：
查看各浏览深度下 base 与 test 两个机制下各浏览深度下预设的插入商品曲线和交叉商品数量分布图。
论断：
- 比拟蓝色 (test) 与黄色 (base) 两根实线，在较浅的 session 下，新旧机制交叉商品数量根本持平; 在较深的 session 下，新机制相较于旧机制插入商品数量更多，体现了摸索较强时新的交叉机制会摸索更多商品。
- 通过蓝色实线与虚线，黄色实线与虚线两组曲线比照，新交叉机制下预期插入数量曲线与理论插入数量曲线更贴合，阐明交叉数量设定更为正当，新的交叉机制与商品打分一致性更强。
（2）线上成果
搜寻效率持平状况下，EE 外围指标有肯定晋升并全量上线。
流量整体联动优化思考：
在对 EE 流量进行整体优化后，商品摸索力度与 EE 流量调配可能随用户浏览志愿进行自适应调整，但从全局商品展现后果中看，EE 探测流量与天然流量互相独立，两者之间并未建设充沛的联动与联合。
将视角逐步放宽到整个排序链路，如何做好 EE 流量与天然流量的联动，施展 EE 在搜寻排序链路后置位的劣势充沛补充与优化天然流量是下一个关怀的问题。
四、感知上下文的品牌店铺维度探测
在搜寻链路中，EE 处于绝对后置的地位，然而原 EE 零碎未充分利用这一感知劣势，对前序排序后果感知能力较弱。在一些强势品牌、店铺主导的关键词下，存在头部品牌、店铺扎堆景象，优质新品、中长尾商品无奈露出，马太效应显著。
对此问题，尝试跳出仅思考商品维度探测的局限，从更高的品牌、店铺维度视角，对排序后果进行全局性联动优化，建设感知上下文的多维度探测能力。其设计旨在加强对上下文排序后果的感知能力，并在天然流量中对商品散布进行联动优化，系统性缓解排序链路的马太效应。
1. 感知上下文的多维度探测机制优化点
感知上下文的多维度探测机制在原有 EE 探测能力根底上，进行了如下三个方面的优化：
（1）新增 EE 探测系统对上下文感知能力：对 EE 前的排序上下文后果进行充沛的感知，对天然流量下原有搜寻排序后果进行自适应的交叉优化。
（2）实现 EE 探测维度的扩大：除了现有反对的商品粒度探测，从更宏观的品牌、店铺等维度视角对排序生态进行优化。
（3）EE 流量与天然流量联动全局性优化：缓解局部词下头部品牌和店铺扎堆景象，晋升排序多样性，防止对头部品牌、店铺商品进行更多探测、加剧马太效应。
2. 计划实际
本次降级在原有的搜寻 EE 交叉机制下进行了如下能力的加强与优化：
（1）新增上下文感知能力
在原有搜寻 EE 交叉机制根底上，新减少上下文感知能力，对搜索词属性和上下文排序后果的商品散布进行计算，领导后续的交叉过程
①感知 query 词属性
为保障搜寻排序后果合理性，防止产生体验性问题，感知上下文能力将判断 query 词是否是品牌词 (如：华为) 或型号词(如：iphone)，决定是否开启品牌维度探测；判断 query 词是否是精准店铺词，决定是否开启店铺维度探测。
②排序后果商品散布
新增上下文排序后果感知能力，通过统计上链路搜寻后果排名前 k 的商品中的品牌和店铺的散布状况，判断是否存在品牌或店铺的集中景象，进而决定是否开启多维度探测能力。
（2）优化原有交叉机制
在感知能力作为多维度探测启动开关根底上，优化了原有的交叉机制，通过 EE 展现成果与天然流量后果联动晋升搜寻后果丰富性与多样性，对搜寻后果进行间接高效的影响。
①由感知能力模块判断用户搜寻用意和商品散布，决定是否进行多维度探测
对用户搜寻用意间接的搜索词动静开启多维度探测性能，如 query 为品牌词或型号词则不应进行品牌维度探测，如 query 为店铺词则不进行店铺维度探测，防止影响搜寻后果的准确性。考量搜寻后果的前 k 个商品的品牌 / 店铺散布，判断是否存在头部品牌 / 店铺扎堆的问题，当同一品牌 / 店铺下商品占比超过 p% 后，不再插入该类型 EE 商品。
②交叉后果优化
如不再插入该类型 EE 商品，在候选商品中剔除该类型，其余商品依照 EE 打分后果插入到排序后果中，不影响 EE 交叉过程与交叉数量，保障 EE 交叉地位和展示成果合理性。
3. 降级成果
（1）多维度探测成果剖析
①EE 交叉曝光占比剖析：
在 EE 交叉过程中，因为局部 EE 模型打分较高的头部品牌 / 店铺的商品在 EE 候选商品中被剔除，残余商品模型打分稍低导致交叉地位产生后移或无奈交叉进排序后果中，为了防止 EE 交叉曝光占比升高，晋升了各浏览深度下 EE 交叉商品的配额。试验期间 EE 曝光占比 base 与 test 根本持平。
②多维度探测体验剖析：
上面比照了多款热词下 EE 交叉商品状况。
论断：在多组 query 词下，test 机制相较于 base 机制在交叉的过程中缩小了头部品牌 / 店铺的插入，加强了展现后果的丰富性，缓解马太效应；同时留神到 test 机制因为局部头部品牌 / 店铺商品被滤除，交叉地位绝对有所后移，在排序靠后的地位受配额影响多插入 1 - 2 个商品，整体曝光量与 base 基本一致，与剖析一的论断统一。
（2）线上成果
在放弃搜寻效率持平的状况下，多样性指标大幅晋升并全量上线。
五、总结与瞻望
本文重点论述了在搜寻 EE 机制迭代过程中的思考与演进历程，搜寻 EE 作为优化搜寻生态与缓解搜寻马太效应的重要工具，在演进过程中也围绕搜寻后果丰富性和体验性进行了系统性优化。
在优化思路上，一直寻找 EE 零碎的瓶颈问题，在自适应摸索机制和建模形式降级提供差异化商品摸索力度；将商品打分与交叉商品个数进行联动，端到端优化 EE 流量调配问题；之后将视线扩大到全局流量，通过多维度摸索机制联动天然流量，使 EE 流量作为天然流量的相互补充。整体思路体现出从商品间摸索打分优化——EE 流量个性化调配——与天然流量全局优化的迭代过程。
搜寻 EE 后续还将面临更多的问题和挑战，后续会持续沿用这样的迭代思路在更多方面进行摸索与深刻：
- 扩大 EE 模型的训练样本空间，优化现有工作建模计划。
- 搜寻 EE 向更广链路辐射，打造全链路 EE 摸索能力。
- EE 笼罩更广商品建模，打造更欠缺的中长尾商品泛化表征。
明天的分享就到这里，谢谢大家。
作者：京东批发 佳人嘉，赵恒
起源：京东云开发者社区 转载请注明起源