===============
- 定向广告和搜寻广告的区别
搜寻广告的实现场景次要是在用户被动去搜寻商品的状况下，依据用户搜寻的内容举荐给他可能喜爱的商品，如果以来示意用户可能喜爱的商品的概率，则广告的可能表达形式是：
其中ad示意候选广告集，user示意用户特色，context示意上下文场景，设施，事件等等。而整个就示意为上述情况下用户点击广告的条件概率。而搜寻广告中，因为用户曾经搜寻了相干的商品，则候选广告集ad的范畴就是和搜寻关键词相干。
然而如果用户在未收回搜寻申请时，如何在淘宝主页上出现用户可能感兴趣的商品内容，进而吸引用户点击，就是定向广告发挥作用的时候了。在这种状况下，候选广告集的范畴就是依据用户之前的购买，搜寻，点击状况来筛选出的可能感兴趣的商品列表。
定向广告的常见应用模型
依据广告的表达形式来看，其实能够形象为一个二分类问题（点击或不点击，或者说CTR预估）。所以定向广告模型演变过程如下：
- Logistic Regression：万能的LR；
- MLR：在LR的根底上又倒退进去了Mixed Logistic Regression，其和LR的区别在于MLR能够依据理论状况别离应用不同的LR模型，具备了肯定的非线性能力。
- DNN：因为深度神经网络能够很好的表白非线性关系，并且在CV和NLP场景中的广泛应用，所以在举荐场景中DNN也被拿来解决在大数据场景中的非线性关系。
- DIN：深度趣味网络采纳了Attention的原理，将用户的趣味散布依据状况激活并退出到模型训练中。
- DIEN：DIEN在DIN的根底上优化了趣味演变层，在Attention中嵌入了序列机制，绝对趣味作用失去了强化。
- DSIN：这个模型也是在DIN的根底上，将用户行为分为一段一段的session，并用multi-head Attention来获取session内的趣味。
- DIN中Attention的原理机制
DIN根本的模型构架还是一个embedding layer和一个MLP组成的，其中embedding layer作用是把稠密矩阵转移到一个向量空间中，MLP的次要作用是对embedding进行拟合分类输入。在这两个阶段两头，DIN退出了一个activation unit组件，其次要应用的就是attention的机理来计算user feature group的权重。
Activation Unit的构造如下，则其应用的attention原理能够了解为用户的历史行为对候选ad的权重都是不同的，而用用户历史行为的embedding和候选ad的embedding通过外积的模式来表白相关性。这样在输出之后的MLP时，相关性使得模型能够更好地对候选ad去关注那些有用的历史行为。
- DIEN绝对于DIN有哪些翻新
DIN是中的Attention对于候选ad只是关注了有用的历史行为，然而疏忽了一个问题是，用户的历史行为其实是一个工夫序列，其会有趣味的变动，迁徙。所以DIEN在DIN的根底上，退出了Interest extractor layer（核心部件是GRU）进行趣味提取，而后对提取的趣味加上了一个Interest evolving layer，用改进型AUGRU，并把Attention权重退出到外面让GRU更加关注趣味的演变，削弱趣味漂移，之后才输出到MLP中。
- DSIN对于Session的洞察是怎么的，如何对Session趣味进行表白
DSIN提出的问题是，尽管用户具备动静趣味演变，然而用户应用淘宝的体现为阶段性的，也就是间断搜寻一段时间，而后进行，并且每次产生搜寻拜访时，搜寻的物品是很相近，然而两次隔开产生的间断搜寻大概率差异很大。DSIN对这种状况，对用户序列建设session，每个session是一个给定工夫范畴内产生的交互列表，同一个session内的行为高度同构，而跨session之间是异构的。如下图，session在间断浏览裤子，session2就曾经在搜寻美甲，session3又有变动。然而每个session外部是一个类别的，这就是DSIN发现的问题。
所以DSIN对用户的间断行为划分成session，而后用带偏执编码的self attention对每个session进行建模，而后用BI-LSTM捕获用户不同历史会话趣味的交互和演变，设计一个部分的流动单元，将他们与指标项聚合起来，造成行为序列的最终表达形式。
首先Session Division Layer 对序列进行宰割session。然而session中还是会呈现用户的随便行为使的session偏移，所以Session Interest Extractor Layer在每个session中应用multi-head attention来关注session的重点，加重不相干性行为的影响。Session Interest Extractor Layer对带有session趣味重点的session应用BI-LSTM来捕获用户session趣味的动静演变。之后SIE层和SII层别离示意的session趣味重点，以及趣味的演变输出到Session Interest Activating Layer与指标商品之间去计算相关性，给session趣味设立权重，最终和原始特色合并输出给MLP。
依据以上形容能够看出，session的趣味表白次要是通过SIE层的关注趣味重点，SII层的趣味演变，并最终通过SIA层调配权重来达到表白趣味的目标。
如果你来设计淘宝定向广告，会有哪些future work（即下一个阶段的idea）
鉴于目前淘宝定向广告曾经十分高效了，接下来我感觉可能的下一步走向应该有：
- 依据用户历史行为和趣味推断用户可能购买的但从没波及过的畛域。须要建设常识图谱，模型能够认知商品之间的相干关系，并依据工夫因素推断可能购买的商品。
- 有些商品具备强烈的季节性或者时效性（羽绒服，西瓜，凉鞋），定向广告也须要带有时效性（即对趣味附加一个周期权重），这样定向广告的投放也会有显著的季节性。