什么是创意
创意类型及组成
创意的类型很多，包含商品广告创意、视频创意、UGC 图文创意、营销流动创意等。右图是哈啰营销流动的 banner 和弹窗，能够看到 banner 和弹窗属于不同的创意款式，不同创意款式的元素和元素的属性也各不相同。咱们在对创意进行优化的时候，能够发现款式乘以模板乘以元素数再乘以元素的属性数，这使得创意的组合是变幻无穷的。
如何评估创意品质
从算法的角度，图像品质评估有三种建模条件。一是全参考，咱们同时有原始 (无失真、参考) 图像和失真图像，外围是比照两幅图像的信息量或特色类似度；二是半参考，只有原始图像的局部信息或从参考图像中提取的局部特色；三是无参考，也叫盲参考，只有失真图像，难度较高。有两种罕用的评估指标，一是线性相关系数，也就是平时咱们用的皮尔逊相关系数，用来评估两组数据之间的差异性。它的公式是两组数据的斜方差除以标准差的商值，其中 N 示意失真图像数。通过这个公式能够算出失真图像和实在图像的相关性，相关性越高，正值就越大，先决条件是它的数据必须要遵从正态分布。如果不满足这个条件，就能够用上面的 Spearman 秩相关系数，在意的是在实在值和预测值序列中的排序地位。它跟皮尔逊相关系数实际上是一样的，都是越大越相干。
接下来介绍 2016 年提出的 DeepBIQ 模型，将原始图像切分成多个子区域，对多个子区域预测的分数进行均匀来预计图像品质。这个模型之所以具备翻新点，是因为首先它应用了不同的预训练模型，因为咱们平时所拿到的图片数据量较少，就能够进行迁徙学习，用训练好的模型固定它的网络权重，再应用当初较少的数据来进行网络的微调，把他人场景下的网络数据迁徙到咱们的场景当中。其次它应用了大量的图像块而不是整个图像进行的训练，同时应用了不同的特色和后果交融策略，能够看到两头的 Fusion of Feature Vectors，通过输出图像的块状特色，通过了 CNN 的编码之后失去了特色的向量，再通过三种不同的交融策略，包含 pooling+svr、comc+svr 和 svr+pooling，最初选取最好的一种进行模型的评估。
创意品质评估的第二局部是文案的通顺度。对于一个一般的句子序列，它的概率是多个概率的乘积。困惑度是导数的概念，它是句子概率乘积的导数，再开 N 次方。因而语言模型预测出句子呈现的概率越大，就表明它的困惑度越小，也就是一个比拟好的通顺度比拟高的句子。
智能创意搭建内容
智能创意零碎搭建次要分为四个局部，一是内容了解，如实体辨认、分类、标签抽取、embedding 和 OCR。二是创意生成，包含程序化拼接、素材生成、布局生成和元素渲染。三是品质评估，就是上文提到的文本和图像品质评估。四是创意优选，包含 bandit、CTR 预估、组合搜寻和多模态特色。
如何进行创意生成
什么是生成模型
生成模型是从一个散布为 p_data 的数据集中取样形成训练集去训练模型，模型会学习和模仿这一散布，咱们就能够从学习到的散布中生成一些样本，样本尽可能让它与实在数据分布统一，如图像、文本等。
为什么要钻研生成模型
一是生成模型代表咱们具备可能示意和操控高维概率分布的能力，二是生成模型能够用有损失的数据进行训练，进行半监督学习，升高了咱们取得数据样本的难度。三是有一些工作须要产生看起来实在的样本，如输出低分辨率的图片，生成模型能够产生靠近于原分辨率的图片；从街道轮廓图生成实在图，从卫星图生成地图。这些图像复原和修复工作须要一些看起来实在的样本，生成模型能够去实现。
生成反抗网络
生成模型是去求解实在的概率分布，如果咱们不在意概率分布自身的样子，只心愿通过模型去生成与实在散布差不多的样本，咱们就能够用生成反抗网络去建模。反抗是指咱们须要构建两个网络，别离是判断网络和生成网络。判断网络的损失是穿插熵损失，生成网络学习的损失函数是判断网络的相同值。这是因为判断网络是为了去辨别出实在样本和生成样本之间的差别，并让他们之间的区分度最大；生成网络用来生成样本，心愿生成样本和实在样本区别越小越好，所以从建模的目标上说，这两个网络的损失函数须要是相同的值，加在一起是一个经典的零和博弈的问题。
这两个网络学习总指标是在判断网络损失函数最小的状况下，生成网络的损失函数也最小。训练过程就是在以下的两个步骤中交替进行，别离去训练这两个网络，对判断网络进行梯度回升，对生成网络进行梯度降落。在理论的训练过程中，并不是 1 + 1 交替进行，而是先去训练判断网络，因为只有好的判断网络之后，才可能更好地更新生成网络的参数。
Transformer
生成反抗网络次要使用的畛域是图像生成，图像属于间断零碎，难以对概率分布建模，但文本属于离散系统，用神经网络和 softmax 就可对概率分布建模，transformer 模型次要用于文本的生成。
右图的 transformer 分为两个局部，别离是编码器局部和解码器局部。这里用一个比拟形象的例子去论述 transformer 的工作形式。第一步咱们须要输出一条训练数据，以摘要生成为例，咱们输出的训练数据是文章，须要输入的是摘要。在咱们输出文章之后，通过 encoder 层失去一个编码，再通过 decoder 失去一个预测后果，预测后果代表词表中的词作为生成词的概率向量。比方词表中有三个词，作为生成词的概率向量别离是 0.5、0.5、0.8，那么第三个词作为生成词的概率就比拟高。第二步咱们输出一个句子“张三回家了”中的“张”字，此时咱们心愿模型吐出“三”字的 one-hot 编码。第三步是通过方才的机制去训练，减小损失，最终失去咱们的生成模型。
如何进行创意优选
创意优选次要解决两个问题，一是创意到人的精准匹配，和个别的商品排序比照，创意多了很多多模态的内容，多模态内容的联结表征是创意优选的一个难点。二是长尾性加多样性，就是用户对于创意的疲劳度绝对较高，它的解法是 bandit 模型，每种创意保护一个 beta(win, lose)散布，win 指的是创意被展示且被点击，lose 指的是创意被展示但没有被点击，这个散布随着用户反馈的产生实时调整。
哈啰智能创意零碎展现
哈啰在智能创意零碎上做了很多实际，尽管还没有用到多模态的信息，但整个框架依然是 CTR+EE 框架。同时咱们也进行了一些内容了解的工作，如文案多分类、多标签提取等，对于新的创意和老的创意的解法也不一样。之后咱们会上线图文搭配性能，会思考到素材的美学搭配。同时在创意优选上会进行细粒度的优选，进行元素级的优选模型搭建。此外，会搭建更欠缺的报表和更智能的文案助手。
（本文作者：潘云凤）
本文系哈啰技术团队出品，未经许可，不得进行商业性转载或者应用。非商业目标转载或应用本文内容，敬请注明“内容转载自哈啰技术团队”。