美团到店广告平台算法团队基于多年来在广告畛域上积攒的教训，始终在数据偏差等业界挑战性问题一直进行深刻优化与算法翻新。在之前分享的《KDD Cup 2020 Debiasing 较量冠军技术计划与广告业务利用》一文 [4] 中，团队分享了在 KDD Cup 较量中获得冠军的选择性偏差以及风行度偏差的解决方案，同时也分享了在广告业务上偏差优化的技术框架。本文基于这一技术框架进行持续介绍，聚焦于地位偏差问题的最新进展，并具体地介绍团队在美团广告获得显著业务成果的地位偏差 CTR 模型优化计划，以该计划为根底造成的论文《Deep Position-wise Interaction Network for CTR Prediction》也被国内顶级会议 SIGIR 2021 录用。
近些年来，因为人工智能技术的高速倒退，所带来的公平性问题也愈发受到关注。同样的，广告技术也存在着许多公平性问题，因为公平性问题造成的偏差对广告零碎的生态会产生较大的负面影响。图 1 所示的是广告零碎中的反馈环路[1]，广告零碎通过累积的用户交互反馈数据基于肯定的假如去训练模型，模型对广告进行预估排序展现给用户，用户基于可看到的广告进行交互进而累积到数据中。在该环路中，地位偏差、风行度偏差等各种不同类型的偏差会在各环节中一直累积，最终导致广告零碎的生态一直好转，造成“强人愈强、弱者愈弱”的马太效应。
因为偏差对广告零碎和举荐零碎的生态有着极大的影响，针对打消偏差的钻研工作也在一直减少。比方国内信息检索会议 SIGIR 在 2018 年和 2020 年组织了一些关注于打消偏差主题的专门会议，同时也给一些基于偏差和公平性的论文颁发了最佳论文奖（Best Paper）[2,3]。KDD Cup 2020 的其中一个赛道也基于电子商务举荐中的风行度偏差进行发展[1]。
美团到店广告平台算法团队基于多年来在广告畛域上积攒的教训，始终在数据偏差等业界挑战性问题一直进行深刻优化与算法翻新。在之前分享的《KDD Cup 2020 Debiasing 较量冠军技术计划与广告业务利用》一文 [4] 中，团队分享了在 KDD Cup 较量中获得冠军的选择性偏差以及风行度偏差的解决方案，同时也分享了在广告业务上偏差优化的技术框架。
本文基于这一技术框架进行持续介绍，聚焦于地位偏差问题的最新进展，并具体地介绍团队在美团广告获得显著业务成果的地位偏差 CTR 模型优化计划，以该计划为根底造成的论文《Deep Position-wise Interaction Network for CTR Prediction》也被国内顶级会议 SIGIR 2021 录用。
1. 背景
美团到店广告平台算法团队基于美团和点评双侧的广告业务场景，一直进行广告前沿技术的深刻优化与算法翻新。在大多数广告业务场景下，广告零碎被分为四个模块，别离是触发策略、创意优选、品质预估以及机制设计，这些模块形成一个广告投放漏斗从海量广告中过滤以及精选出优质广告投放给指标用户。其中，触发策略从海量广告中挑选出满足用户用意的候选广告汇合，创意优选负责候选广告的图片和文本生成，品质预估联合创意优选的后果对每一个候选广告进行品质预估，包含点击率（CTR）预估、转化率（CVR）预估等，机制排序联合广告品质以及广告出价进行优化排序。在本文中，咱们也将广告称之为 item。
CTR 预估，作为品质预估的一个环节，是计算广告中最外围的算法之一。在每次点击付费（CPC）计费模式下，机制设计能够简略地按每千次展现支出（eCPM）来对广告进行排序以获得广告支出最大化。因为 eCPM 反比于 CTR 和广告出价（bid）的乘积。因而，CTR 预估会间接影响到广告的最终支出和用户体验。为了有更高的 CTR 预估精度，CTR 预估从晚期的 LR[5]、FM[6]、FFM[7]等反对大规模稠密特色的模型，到 XGBoost[8]、LightGBM[9]等树模型的联合，再到 Wide&Deep[10]、Deep&Cross[11]、DeepFM[12]、xDeepFM[13]等反对高阶特色穿插的深度学习模型，进一步演变到 DIN[14]、DIEN[15]、DSIN[16]等联合用户行为序列的深度学习模型，始终作为工业界以及学术界钻研的热点畛域之一，被一直摸索和不断创新。
因为 CTR 预估模型的训练通常采纳曝光点击数据，该数据是一种隐式反馈数据，所以会不可避免地产生各种偏差问题。其中，地位偏差因对 CTR 影响极大而备受关注。如图 2 所示，随机流量上不同地位的 CTR 散布反馈了用户通常偏向于点击靠前地位的广告，并且 CTR 会随着曝光地位的增大而迅速降落。因而，间接在曝光点击数据上进行训练，模型不可避免地会偏差于靠前地位的广告汇合，造成地位偏差问题。图 2 显示失常流量相比随机流量 CTR 散布更加集中在高地位广告上，通过反馈环路，这一问题将一直地放大，并且进一步侵害模型的性能。因而，解决好地位偏差问题不仅可能晋升广告零碎的成果，而且还能均衡广告零碎的生态，促成零碎的公平性。
广告最终的实在曝光地位信息在线上预估时是未知的，这无疑进一步增大了地位偏差问题的解决难度。现有的解决地位偏差的办法能够大抵分为以下两种：
- 神经网络地位特色建模 ：该办法将地位建模为神经网络中的特色，因为在预估过程中并不知道实在地位信息，故而有些办法[17-19] 把地位信息放于网络的 Wide 局部，在线下训练时应用实在地位，在线上预估时应用固定地位，这种办法因为其简略性和有效性，在工业界被广泛应用。为了在线上预估时无需应用地位信息，如图 3 所示，PAL[20]将样本的 CTR 建模为 ProbSeen 乘以 pCTR，其中 ProbSeen 仅应用地位特色建模，而 pCTR 应用其余信息建模，在线上只应用 pCTR 作为 CTR 预估值。
- Inverse Propensity Weighting（IPW）：该办法被学术界宽泛钻研[21-29]，其在模型训练时给不同曝光地位的样本赋予不同的样本权重，直观地看，应该将具备较低接管反馈偏向的广告样本（曝光地位靠后的广告）调配较高的权重。因而，这种办法的难点就在于不同地位的样本权重如何确定，一个简略的办法是应用广告随机展现的流量来精确地计算地位 CTR 偏差，但不可避免地侵害用户体验。故而，许多办法致力于在有偏的流量上来精确地预估地位偏差。
上述的办法通常基于一个较强的假如，即点击伯努利变量 $C$ 依赖于两个潜在的伯努利变量 E 和 $R$，如下式所示：
其中，等式右边指的是用户 $u$ 在上下文 $c$ 中点击第 $k$ 个广告 $i$ 的概率，咱们定义上下文 $c$ 为实时的申请信息。等式左边第一项指的是地位 $k$ 被查看的概率，其中 $[s]$ 通常为上下文 $c$ 的一个子集，大部分办法假如 $[s]$ 为空集，即地位 $k$ 被查看的概率仅与 $k$ 无关。等式左边第二项指的是相关性概率（例如用户 $u$ 在上下文 $c$ 中对广告 $i$ 的的实在趣味）。上述办法通常显式或隐式地预计查看概率，而后利用反事实推理（Counterfactual Inference）得出相关性概率，最终在线上将相关性概率作为 CTR 的预估值。训练和预估之间地位信息的不同解决将不可避免地导致线下线上间的不统一问题，进一步导致次优的模型性能。
此外，已有办法通常假如查看概率仅依赖于地位及局部上下文信息，其假如过于简略。不同的用户通常具备不同的浏览习惯，有些用户可能偏向于浏览更多 item，而有些用户通常能疾速做出决定，并且同一个用户在不同的上下文中搜寻用意中也会有不同的地位偏好，例如商场等地点词的搜寻往往用意不明确导致高下地位的 CTR 差别并不大。故而，地位偏差与用户，上下文无关，甚至可能与广告自身也无关，建模它们间的关系能更好地解决地位偏差问题。
不同于上述的办法，本文提出了一个基于深度地位穿插网络（Deep Position-wise Interaction Network）（DPIN）模型的多地位预估办法去无效地间接建模 $ CTR_k^j=p(C=1|u,c,i,k) $
来进步模型性能，其中 $ CTR_k^j $ 是第 $j$ 个广告在第 $k$ 个地位的 CTR 预估值。该模型无效地组合了所有候选广告和地位，以预估每个广告在每个地位的 CTR，实现线下线上的一致性，并在在线服务性能限度的状况下反对地位、用户、上下文和广告之间的深度非线性穿插。广告的最终序能够通过最大化 $\sum CTR_k^jbid^j $ 来确定，其中 $bid^j$ 为广告的出价，本文在线上机制采纳一个地位自顶向下的贪心算法去失去广告的最终序。本文的奉献如下：
- 本文在 DPIN 中应用具备非线性穿插的浅层地位组合模块，该模块能够并行地预估候选广告和地位组合的 CTR，达到线下线上的一致性，并大大改善了模型性能。
- 不同于以往只对候选广告进行用户趣味建模，本次首次提出对候选地位也进行用户趣味建模。DPIN 利用一个深度地位穿插模块无效地学习地位，用户趣味和上下文之间的深度非线性穿插示意。
- 依据对于地位的新解决形式，本文提出了一种新的评估指标 PAUC（Position-wise AUC），用于测量模型在解决地位偏差问题上的模型性能。本文在美团广告的实在数据集上进行了充沛的试验，验证了 DPIN 在模型性能和服务性能上都能获得很好的成果。同时本文还在线上部署了 A /B Test，验证了 DPIN 与高度优化的已有基线相比有显著晋升。
2. 深度地位穿插网络（Deep Position-wise Interaction Network
本节次要介绍深度地位穿插网络（Deep Position-wise Interaction Network）（DPIN）模型。如图 4 所示，DPIN 模型由三个模块组成，别离是解决 $J$ 个候选广告的根底模块（Base Module），解决 $K$ 个候选地位的深度地位穿插模块（Deep Position-wise Interaction Module）以及组合 $J$ 个广告和 $K$ 个地位的地位组合模块（Position-wise Combination Module），不同模块需预估的样本数量不一样，简单模块预估的样本数量少，简略模块预估的样本数量多，由此来进步模型性能和保障服务性能。通过这三个模块的组合，DPIN 模型有能力在服务性能的限度下预估每个广告在每个地位上的 CTR，并学习地位信息和其余信息的深度非线性穿插示意。下文将会具体地介绍这三个模块。
2.1 根底模块（Base Module）
与大多数深度学习 CTR 模型 [10-16] 相似，本文采纳 Embedding 和 MLP（多层感知机）的构造作为根底模块。对于一个特定申请申请，根底模块将用户、上下文和 $J$ 个候选广告作为输出，将每个特色通过 Embedding 进行示意，拼接 Embedding 示意输出多层 MLP，采纳 ReLU 作为激活函数，最终能够失去每个广告在该申请下的示意。第 $j$ 个广告的示意 $r_j^{item}$ 能够通过如下公式失去：
其中 $\{u_1,…,u_m\}$，$\{c_1,…,c_m\}$，$\{i_1^j,…,i_o^j\}$ 别离是以后用户特色汇合、以后上下文特色汇合以及第 $j$ 个广告的特色汇合，$E(\cdot)\in \mathbb{R} $ 是 Embedding 映射。
2.2 深度地位穿插模块（Deep Position-wise Interaction Module）
在大多数业务场景中，根底模块通常曾经被高度优化，蕴含了大量特色甚至用户序列等信息，其目标是捕获用户在该上下文中对不同广告的趣味。因而，根底模块的推理工夫复杂度通常较大，间接在根底模块中退出地位特色对所有广告在所有地位上进行 CTR 预估是不可承受的。因而，本文提出了一个与根底模块并行的深度地位穿插模块，不同于针对广告进行趣味建模的根底模块，该模块针对于地位进行趣味建模，学习每个地位与上下文及用户趣味的深度非线性穿插示意。
在深度地位穿插模块中，咱们提取用户在每个地位的行为序列，将其用于各地位上的用户趣味聚合，这样能够打消整个用户行为序列上的地位偏差。接着，咱们采纳一层非线性全连贯层来学习地位、上下文与用户趣味非线性穿插示意。最初，为了聚合用户在不同地位上的序列信息来保障信息不被失落，咱们采纳了 Transformer[30]来使得不同地位上的行为序列示意能够进行交互。
地位趣味聚合（Position-wise Interest Aggregation）。 咱们令 $B_k=\{b_1^k,b_2^k,…,b_L^k \}$ 为用户在第 $k$ 个地位的历史行为序列，其中 $b_l^k=[v_l^k, c_l^k]$ 为用户在第 $k$ 个地位上的历史第 $l$ 个行为记录，$v_l$ 为点击的 item 特色汇合，$c_l^k$ 为产生该行为时的上下文（包含搜寻关键词、申请地理位置、一周中的第几天、一天中的第几个小时等），行为记录的 Embedding 示意 $\mathbf{b_l^k}$ 能够通过下式失去：
其中 $\{v_1^{k_l},v_o^{k_l}\}$，$\{c_1^{k_l},c_n^{k_l}\}$ 别离为 $v_l^k$ 和 $c_l^k$ 的特色汇合，$dif^{kl}$ 为该行为与以后上下文的时间差。
第 $k$ 个地位行为序列的聚合示意 $\mathbf{b_k}$ 能够通过注意力机制获取，如以下公式所示：
其引入以后上下文 $\mathbf{c}$ 去计算注意力权重，对于与上下文越相干的行为能够给予越多的权重。
地位非线性穿插（Position-wise Non-linear Interaction）： 咱们采纳一层非线性全连贯层来学习地位、上下文与用户趣味非线性穿插示意，如下式所示：
其中，$\mathbf{W_v},\mathbf{b_v},$ 将拼接的向量映射到 $d_{model}$ 维度。
Transformer Block： 如果将 $V_k$ 间接作为第 $k$ 个地位的非线性穿插示意，那么会失落用户在其余地位上的行为序列信息。因而，咱们采纳 Transformer 去学习不同地位趣味的交互。令 $\mathbf{Q}=\mathbf{K}=\mathbf{V}=Concat(\mathbf{v_1},\mathbf{v_2},…,\mathbf{v_K})$ 为 Transformer 的输出，Tranformer 的多头自注意力构造能够由以下公式示意：
其中，$d_k=d_{model}/h$ 是每个头的维度。因为 $\mathbf{v_k}$ 中曾经蕴含地位信息，故而咱们不须要 Transformer 中的地位编码。同样的，咱们也沿用 Transformer 中的前馈网络（Position-wise Feed-forward Network）、残差连贯（Residual Connections）以及层标准化（Layer Normalization）。N 个 Transformer Block 会被应用去加深网络。
最终，深度地位穿插模块会产出每个地位的深度非线性穿插示意，其中第 $k$ 个地位被示意为 $r_k^{pos}$。
2.3 地位组合模块（Position-wise Combination Module）
地位组合模块的目标是去组合 $J$ 个广告和 $K$ 个地位来预估每个广告在每个地位上的 CTR，咱们采纳一层非线性全连贯层来学习广告、地位、上下文和用户的非线性示意，第 $j$ 个广告在第 $k$ 个地位上的 CTR 能够由如下公式得出：
其中包含了一层非线性连贯层和一层输入层，是 $E(k)$ 地位 k 的 embedding 示意，$\sigma(\cdot)$ 是 sigmoid 函数。
整个模型能够应用实在地位通过批量梯度降落法进行训练学习，咱们采纳穿插熵作为咱们的损失函数。
3. 试验
在本节中，咱们评估 DPIN 的模型性能和服务性能，咱们将详细描述试验设置和试验后果。
3.1 试验设置
数据集： 咱们应用美团搜寻关键词广告数据集训练和评估咱们的 CTR 模型。训练数据量达到数亿，测试数据量大概一千万。测试集被划分为两个局部，一部分是线上收集的惯例流量日志，另一部分是线上 Top- k 随机的摸索流量日志。Top- k 随机的摸索流量日志是更适宜用来评估地位偏差问题，因为它大大减弱了相关性举荐对地位偏差的影响。
评估指标： 咱们应用 AUC（Area Under ROC）作为咱们的评估指标之一。为了更好的针对地位偏差问题进行评估，咱们提出 PAUC（Position-wise AUC）作为咱们的另一个评估指标，其由以下公式计算：
其中，$\#impression_k$ 是第 $k$ 个地位的曝光数量，$PAUC@k$ 是第 $k$ 个地位曝光数据的 AUC。PAUC 指标掂量每个地位上相关性排序的品质，疏忽了地位偏差对排序品质的影响。
比照的办法。 为了偏心且充沛地比照不同模型的成果，咱们所有试验中所应用的模型输出应用等量且深度联合美团业务的特色，不同模型中的雷同模块都应用统一的参数，并且比照的基线 DIN[14]模型通过高度优化，以下为咱们具体进行比照的试验：
- DIN： 该模型训练和预估时都没有应用地位信息。
- DIN+PosInWide： 这个办法在网络的 Wide 局部建模地位特色，在评估时采纳第一个地位作为地位特色的默认值去评估。
- DIN+PAL： 这个办法采纳 PAL 框架去建模地位信息。
- DIN+ActualPosInWide： 这个办法在网络的 Wide 局部建模地位特色，在评估时采纳实在地位特色去评估。
- DIN+Combination： 这个办法在 DIN 的根底上增加了地位组合模块，评估时采纳实在地位特色去评估。
- DPIN-Transformer： 这个办法在咱们提出的 DPIN 模型下来除了 Transformer 构造，来验证 Transformer 的作用。
- DPIN： 这是咱们提出的 DPIN 模型。
- DPIN+ItemAction： 咱们在 DPIN 的根底模块 MLP 层前增加深度地位穿插模块，并在地位趣味聚合和地位非线性穿插中引入候选广告的信息，这个试验是咱们办法模型性能的实践上界，然而服务性能是不可承受的。
3.2 离线评估
表 1 展现了咱们所进行的比照办法在惯例流量和随机流量上的离线试验评估后果，其中的数值为各个模型绝对于 DIN 模型的成果差别，咱们首先剖析在惯例流量上不同办法的差别。与 DIN 相比，DIN+PosInWide 和 DIN+PAL 的模型在 AUC 指标上有所降落，但在 PAUC 上有所晋升，这表明了这两种办法都能够无效地缓解地位偏差，但会导致离线和在线之间的不统一。
DIN+AcutalPosInWide 通过在评估过程中引入理论地位来解决不统一问题，这能够通过地位组合模块来实现，然而在 wide 局部建模地位会导致地位特色只是一个偏差，不能晋升 PAUC 指标，尽管能更精确地预估各地位上的 CTR，但没有对数据中固有的地位偏差进行更好的学习。
DIN+Combination 通过在 DIN 中引入地位组合模块，咱们获得了 1.52% 的 AUC 增益和 0.82% 的 PAUC 增益，达到线下线上一致性的同时也进一步地缓解了地位偏差，这个后果阐明了地位偏差与上下文、用户等信息不独立，在不同的用户及上下文中会有不同的地位偏差。更进一步的，DPIN 建模地位、上下文、用户的深度非线性穿插关系，也打消了用户行为序列中存在的地位偏差，比照 DIN+Combination 获得了 0.24% 的 AUC 增益以及 0.44% 的 PAUC 增益。
DPIN-Transformer 的成果阐明了失落其余地位的用户趣味会影响模型的性能，因为这将损失大部分用户趣味信息。比照 DPIN 和 DPIN+ItemAction，咱们发现 DPIN 的模型性能靠近于这个暴力办法，阐明 DPIN 模型迫近了咱们办法的实践上界。最终，相较于咱们的线上基线模型 DIN+PosInWide，DPIN 获得了 2.98% 的 AUC 增益和 1.07% 的 PAUC 增益，这在咱们的业务场景中是一次极大的 AUC 和 PAUC 晋升。
为了确保咱们的办法可能学习地位偏差而不是单纯地适度拟合零碎的选择性偏差，咱们进一步在随机流量上评估咱们的办法。表 1 的结果表明了在惯例流量和随机流量上不同办法之间的差别是统一的，这阐明了就算零碎的举荐后果有了微小的差别，该模型仍能无效地学习到在不同用户及上下文中的地位偏差，模型学到的地位偏差受零碎举荐列表的影响很小，这也阐明咱们的模型能够不受零碎选择性偏差的影响从而泛化到其余举荐办法的流量上。
3.3 服务性能
咱们从数据集中检索出一些具备不同候选广告数量的申请，以评估不同候选广告数量下的服务性能。如图 5 所示，因为用户序列操作的提早在服务提早中占了很大比例，因而与 DIN 模型相比，地位组合模块服务提早能够忽略不计。DPIN 的服务提早随着广告数量的减少而迟缓减少，这是因为相比拟于 DIN，DPIN 将用户序列从根底模块挪动到深度地位穿插模块，而深度地位穿插模块的服务性能与广告数量无关。与 DIPIN+ItemAction 办法相比，DPIN 在服务性能方面有了很大的改良，对模型性能的侵害很小，这表明咱们提出的办法既高效又无效。
3.4 在线评估
咱们在线上部署了 A / B 测试，有稳固的结果表明，与基线相比，DPIN 在 CTR 上进步了 2.25%，在 RPM（每千次展现支出）上进步了 2.15%。现在，DPIN 已在线部署并服务于次要流量，为业务收入的显着增长做出了奉献。
4. 总结与瞻望
在本文中，咱们提出了一种新鲜的深度地位穿插网络模型（Deep Position-wise Interaction Network）以缓解地位偏差问题，该模型无效地组合了所有候选广告和地位以估算每个广告在每个地位的点击率，实现了离线和在线之间的一致性。该模型设计了地位、上下文和用户之间的深层非线性穿插，能够学习到不同用户、不同上下文中的地位偏差。为了评估地位偏差问题，咱们提出了一种新的评估指标 PAUC，离线试验表明，所提出的 DPIN 的成果和效率均优于已有办法。目前，DPIN 已部署到美团搜寻关键词广告零碎并服务于次要流量。
值得一提的是，咱们的并行组合思维不仅能够用在广告和地位的组合上，也能够用在广告和创意的组合等广告畛域常见的组合排序问题。在将来，咱们将在这些问题上持续实际咱们的办法，并进一步地设计更欠缺的网络结构来解决相似的组合排序问题。咱们也将在偏差畛域上进行更多的摸索，解决更多的问题，进一步保护广告零碎的生态平衡。
作者简介
刚强、胡可、庆涛、明健、漆毅、程佳、雷军等，均来自美团广告平台技术部。
参考文献
- [1] Chen, Jiawei, et al. “Bias and Debias in Recommender System: A Survey and Future Directions.” arXiv preprint arXiv:2010.03240 (2020).
- [2] Cañamares, Rocío, and Pablo Castells. “Should I follow the crowd? A probabilistic analysis of the effectiveness of popularity in recommender systems.” The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018.
- [3] Morik, Marco, et al. “Controlling fairness and bias in dynamic learning-to-rank.” Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. 2020.
- [4]《KDD Cup 2020 Debiasing 较量冠军技术计划及在美团的实际》。
- [5] Richardson, Matthew, Ewa Dominowska, and Robert Ragno. “Predicting clicks: estimating the click-through rate for new ads.” Proceedings of the 16th international conference on World Wide Web. 2007.
- [6] Rendle, Steffen. “Factorization machines.” 2010 IEEE International Conference on Data Mining. IEEE, 2010.
- [7] Juan, Yuchin, et al. “Field-aware factorization machines for CTR prediction.” Proceedings of the 10th ACM conference on recommender systems. 2016.
- [8] Chen, Tianqi, and Carlos Guestrin. “Xgboost: A scalable tree boosting system.” Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining. 2016.
- [9] Ke, Guolin, et al. “Lightgbm: A highly efficient gradient boosting decision tree.” Advances in neural information processing systems 30 (2017): 3146-3154.
- [10] Cheng, Heng-Tze, et al. “Wide & deep learning for recommender systems.” Proceedings of the 1st workshop on deep learning for recommender systems. 2016.
- [11] Wang, Ruoxi, et al. “Deep & cross network for ad click predictions.” Proceedings of the ADKDD’17. 2017. 1-7.
- [12] Guo, Huifeng, et al. “DeepFM: a factorization-machine based neural network for CTR prediction.” arXiv preprint arXiv:1703.04247 (2017).
- [13] Lian, Jianxun, et al. “xdeepfm: Combining explicit and implicit feature interactions for recommender systems.” Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018.
- [14] Zhou, Guorui, et al. “Deep interest network for click-through rate prediction.” Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018.
- [15] Zhou, Guorui, et al. “Deep interest evolution network for click-through rate prediction.” Proceedings of the AAAI conference on artificial intelligence. Vol. 33. No. 01. 2019.
- [16] Feng, Yufei, et al. “Deep session interest network for click-through rate prediction.” arXiv preprint arXiv:1905.06482 (2019).
- [17] Ling, Xiaoliang, et al. “Model ensemble for click prediction in bing search ads.” Proceedings of the 26th International Conference on World Wide Web Companion. 2017.
- [18] Zhao, Zhe, et al. “Recommending what video to watch next: a multitask ranking system.” Proceedings of the 13th ACM Conference on Recommender Systems. 2019.
- [19] Haldar, Malay, et al. “Improving Deep Learning For Airbnb Search.” Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020.
- [20] Guo, Huifeng, et al. “PAL: a position-bias aware learning framework for CTR prediction in live recommender systems.” Proceedings of the 13th ACM Conference on Recommender Systems. 2019.
- [21] Wang, Xuanhui, et al. “Learning to rank with selection bias in personal search.” Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval. 2016.
- [22] Joachims, Thorsten, Adith Swaminathan, and Tobias Schnabel. “Unbiased learning-to-rank with biased feedback.” Proceedings of the Tenth ACM International Conference on Web Search and Data Mining. 2017.
- [23] Ai, Qingyao, et al. “Unbiased learning to rank with unbiased propensity estimation.” The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018.
- [24] Wang, Xuanhui, et al. “Position bias estimation for unbiased learning to rank in personal search.” Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining. 2018.
- [25] Agarwal, Aman, et al. “Estimating position bias without intrusive interventions.” Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining. 2019.
- [26] Hu, Ziniu, et al. “Unbiased lambdamart: an unbiased pairwise learning-to-rank algorithm.” The World Wide Web Conference. 2019.
- [27] Ovaisi, Zohreh, et al. “Correcting for selection bias in learning-to-rank systems.” Proceedings of The Web Conference 2020. 2020.
- [28] Yuan, Bowen, et al. “Unbiased Ad click prediction for position-aware advertising systems.” Fourteenth ACM Conference on Recommender Systems. 2020.
- [29] Qin, Zhen, et al. “Attribute-based propensity for unbiased learning in recommender systems: Algorithm and case studies.” Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020.
- [30] Vaswani, Ashish, et al. “Attention is all you need.” arXiv preprint arXiv:1706.03762 (2017).
浏览美团技术团队更多技术文章合集
前端 | 算法 | 后端 | 数据 | 平安 | 运维 | iOS | Android | 测试
| 在公众号菜单栏对话框回复【2020 年货】、【2019 年货】、【2018 年货】、【2017 年货】等关键词，可查看美团技术团队历年技术文章合集。
| 本文系美团技术团队出品，著作权归属美团。欢送出于分享和交换等非商业目标转载或应用本文内容，敬请注明“内容转载自美团技术团队”。本文未经许可，不得进行商业性转载或者应用。任何商用行为，请发送邮件至 tech@meituan.com 申请受权。