关于人工智能:洞察风格注意力网络SANet在任意风格迁移中的应用

作者 |dhwani mehta
编译 |Flin
起源 |medium

图像风格化是近几十年来钻研的一种图像处理技术，本文旨在展现一种高效新鲜的格调注意力网络（SANet）办法，在均衡全局和部分格调模式的同时，保留内容构造，合成高质量的风格化图像。

有没有设想过如果由卓越的艺术家来制作照片，照片看起来会怎么？任意格调迁徙通过将内容图像（指标图像）与格调图像（其纹理即画笔描边，角度几何形态，图案，色彩过渡等须要绘制到内容图像的图像）混合，从而将其变为事实，以生成第三幅从未见过的图像。

任意格调迁徙的最终目标是实现概括性，并放弃品质和效率。

在均衡全局和部分格调模式以及因为以下起因而保留内容构造：

整个格调迁徙机制能够总结如下：

让咱们逐渐理解整个体系结构，最初取得全方位的概览。

让咱们尝试解开整个架构，以更好地理解：

解决格调迁徙问题的最重要步骤是编码器 - 解码器机制。预训练的 VGG-19 网络对一个图像进行编码，造成一个示意模式，而后传递给解码器，该解码器尝试将原始输出图像从新结构回去。

SANet 体系结构将来自 VGG-19 编码器的内容和格调图像的输出作为特色图，并对其进行规范化后，转换为特色空间，以计算内容和风格特征图之间的关注度。

预训练的 VGG-19 用于计算损失函数，以便按以下形式训练解码器：

残缺的损失计算公式

对于内容和格调损失计算的一个构想：

SANet 中内容和格调损失组件的计算概述

因为具备新鲜的特色损失性能，SANet 体系结构可能保留内容构造并丰盛款式模式。

SANet 中特色损失计算的概述

计算雷同输出图像在没有任何格调空白的状况下的损失，使得特色损失同时实现内容构造和风格特征的保护。

试验显然表明，应用 SANet 进行格调迁徙所取得的后果将解析各种格调，

例如全局色彩散布，纹理和部分格调，同时放弃内容的构造。同样，SANet 在辨别内容构造和与每个语义内容绝对应的迁徙格调方面也很有用。因而能够推断出，SANet 不仅在放弃内容构造方面很无效，而且在保留格调结构特征方面也很无效，并且能够轻松地交融风格特征，从而丰盛了全局格调和部分格调统计信息。

[1] 朴大英和李光熙。“通过关注格调的网络进行任意格调的迁徙。”IEEE 计算机视觉与模式识别会议论文集。2019。

[2] Gatys，Leon A.，Alexander S. Ecker 和 Matthias Bethge。“应用卷积神经网络进行图像格调迁徙。”IEEE 计算机视觉和模式识别会议论文集。2016。

[3] Huang，Xun 和 Serge Belongie。“通过自适应实例标准化实时进行任意格调迁徙。”IEEE 国内计算机视觉会议论文集。2017。

[4] 李一军，等。“通过特色转换实现通用格调迁徙。”神经信息处理系统的研究进展。2017。

[5] 盛路，等。“头像网：通过特色装璜进行多尺度零镜头格调转移。”IEEE 计算机视觉与模式识别会议论文集。2018。

原文链接：https://medium.com/visionwiza…

欢送关注磐创 AI 博客站：
http://panchuang.net/

sklearn 机器学习中文官网文档：
http://sklearn123.com/

欢送关注磐创博客资源汇总站：
http://docs.panchuang.net/