共计 2446 个字符，预计需要花费 7 分钟才能阅读完成。
===============
- 定向广告和搜寻广告的区别
搜寻广告的实现场景次要是在用户被动去搜寻商品的状况下，依据用户搜寻的内容举荐给他可能喜爱的商品，如果以来示意用户可能喜爱的商品的概率，则广告的可能表达形式是：
其中 ad 示意候选广告集，user 示意用户特色，context 示意上下文场景，设施，事件等等。而整个就示意为上述情况下用户点击广告的条件概率。而搜寻广告中，因为用户曾经搜寻了相干的商品，则候选广告集 ad 的范畴就是和搜寻关键词相干。
然而如果用户在未收回搜寻申请时，如何在淘宝主页上出现用户可能感兴趣的商品内容，进而吸引用户点击，就是定向广告发挥作用的时候了。在这种状况下，候选广告集的范畴就是依据用户之前的购买，搜寻，点击状况来筛选出的可能感兴趣的商品列表。
-
定向广告的常见应用模型
依据广告的表达形式来看，其实能够形象为一个二分类问题（点击或不点击，或者说 CTR 预估）。所以定向广告模型演变过程如下：
- Logistic Regression：万能的 LR；
- MLR：在 LR 的根底上又倒退进去了 Mixed Logistic Regression，其和 LR 的区别在于 MLR 能够依据理论状况别离应用不同的 LR 模型，具备了肯定的非线性能力。
- DNN：因为深度神经网络能够很好的表白非线性关系，并且在 CV 和 NLP 场景中的广泛应用，所以在举荐场景中 DNN 也被拿来解决在大数据场景中的非线性关系。
- DIN：深度趣味网络采纳了 Attention 的原理，将用户的趣味散布依据状况激活并退出到模型训练中。
- DIEN：DIEN 在 DIN 的根底上优化了趣味演变层，在 Attention 中嵌入了序列机制，绝对趣味作用失去了强化。
- DSIN：这个模型也是在 DIN 的根底上，将用户行为分为一段一段的 session，并用 multi-head Attention 来获取 session 内的趣味。
- DIN 中 Attention 的原理机制
DIN 根本的模型构架还是一个 embedding layer 和一个 MLP 组成的，其中 embedding layer 作用是把稠密矩阵转移到一个向量空间中，MLP 的次要作用是对 embedding 进行拟合分类输入。在这两个阶段两头，DIN 退出了一个 activation unit 组件，其次要应用的就是 attention 的机理来计算 user feature group 的权重。
Activation Unit 的构造如下，则其应用的 attention 原理能够了解为用户的历史行为对候选 ad 的权重都是不同的，而用用户历史行为的 embedding 和候选 ad 的 embedding 通过外积的模式来表白相关性。这样在输出之后的 MLP 时，相关性使得模型能够更好地对候选 ad 去关注那些有用的历史行为。
- DIEN 绝对于 DIN 有哪些翻新
DIN 是中的 Attention 对于候选 ad 只是关注了有用的历史行为，然而疏忽了一个问题是，用户的历史行为其实是一个工夫序列，其会有趣味的变动，迁徙。所以 DIEN 在 DIN 的根底上，退出了 Interest extractor layer（核心部件是 GRU）进行趣味提取，而后对提取的趣味加上了一个 Interest evolving layer，用改进型 AUGRU，并把 Attention 权重退出到外面让 GRU 更加关注趣味的演变，削弱趣味漂移，之后才输出到 MLP 中。
- DSIN 对于 Session 的洞察是怎么的，如何对 Session 趣味进行表白
DSIN 提出的问题是，尽管用户具备动静趣味演变，然而用户应用淘宝的体现为阶段性的，也就是间断搜寻一段时间，而后进行，并且每次产生搜寻拜访时，搜寻的物品是很相近，然而两次隔开产生的间断搜寻大概率差异很大。DSIN 对这种状况，对用户序列建设 session，每个 session 是一个给定工夫范畴内产生的交互列表，同一个 session 内的行为高度同构，而跨 session 之间是异构的。如下图，session 在间断浏览裤子，session2 就曾经在搜寻美甲，session3 又有变动。然而每个 session 外部是一个类别的，这就是 DSIN 发现的问题。
所以 DSIN 对用户的间断行为划分成 session，而后用带偏执编码的 self attention 对每个 session 进行建模，而后用 BI-LSTM 捕获用户不同历史会话趣味的交互和演变，设计一个部分的流动单元，将他们与指标项聚合起来，造成行为序列的最终表达形式。
首先 Session Division Layer 对序列进行宰割 session。然而 session 中还是会呈现用户的随便行为使的 session 偏移，所以 Session Interest Extractor Layer 在每个 session 中应用 multi-head attention 来关注 session 的重点，加重不相干性行为的影响。Session Interest Extractor Layer 对带有 session 趣味重点的 session 应用 BI-LSTM 来捕获用户 session 趣味的动静演变。之后 SIE 层和 SII 层别离示意的 session 趣味重点，以及趣味的演变输出到 Session Interest Activating Layer 与指标商品之间去计算相关性，给 session 趣味设立权重，最终和原始特色合并输出给 MLP。
依据以上形容能够看出，session 的趣味表白次要是通过 SIE 层的关注趣味重点，SII 层的趣味演变，并最终通过 SIA 层调配权重来达到表白趣味的目标。
-
如果你来设计淘宝定向广告，会有哪些 future work（即下一个阶段的 idea）
鉴于目前淘宝定向广告曾经十分高效了，接下来我感觉可能的下一步走向应该有：
- 依据用户历史行为和趣味推断用户可能购买的但从没波及过的畛域。须要建设常识图谱，模型能够认知商品之间的相干关系，并依据工夫因素推断可能购买的商品。
- 有些商品具备强烈的季节性或者时效性（羽绒服，西瓜，凉鞋），定向广告也须要带有时效性（即对趣味附加一个周期权重），这样定向广告的投放也会有显著的季节性。
