共计 1685 个字符，预计需要花费 5 分钟才能阅读完成。
作者 |dhwani mehta
编译 |Flin
起源 |medium
图像风格化是近几十年来钻研的一种图像处理技术，本文旨在展现一种高效新鲜的格调注意力网络（SANet）办法，在均衡全局和部分格调模式的同时，保留内容构造，合成高质量的风格化图像。
格调迁徙机制概述
有没有设想过如果由卓越的艺术家来制作照片，照片看起来会怎么？任意格调迁徙通过将内容图像（指标图像）与格调图像（其纹理即画笔描边，角度几何形态，图案，色彩过渡等须要绘制到内容图像的图像）混合，从而将其变为事实，以生成第三幅从未见过的图像。
新鲜的 SANet 格调迁徙办法
任意格调迁徙的最终目标是实现概括性，并放弃品质和效率。
在均衡全局和部分格调模式以及因为以下起因而保留内容构造：
- 应用学习的相似性内核而不是固定的内核
- 应用基于软注意力的网络代替硬注意力进行格调装璜
- 在训练过程中防止失去特色，以放弃内容构造而又不损失格调的丰富性
应用 SANet 进行任意格调迁徙的构建块
整个格调迁徙机制能够总结如下：
让咱们逐渐理解整个体系结构，最初取得全方位的概览。
全面的 SANet 架构
让咱们尝试解开整个架构，以更好地理解：
- 编码器解码器模块
- 格调注意力模块
- 损失函数的计算
编码器 - 解码器模块
解决格调迁徙问题的最重要步骤是编码器 - 解码器机制。预训练的 VGG-19 网络对一个图像进行编码，造成一个示意模式，而后传递给解码器，该解码器尝试将原始输出图像从新结构回去。
格调注意力模块
SANet 体系结构将来自 VGG-19 编码器的内容和格调图像的输出作为特色图，并对其进行规范化后，转换为特色空间，以计算内容和风格特征图之间的关注度。
损失函数的计算
预训练的 VGG-19 用于计算损失函数，以便按以下形式训练解码器：
残缺的损失计算公式
对于内容和格调损失计算的一个构想：
SANet 中内容和格调损失组件的计算概述
特色损失的计算
因为具备新鲜的特色损失性能，SANet 体系结构可能保留内容构造并丰盛款式模式。
SANet 中特色损失计算的概述
计算雷同输出图像在没有任何格调空白的状况下的损失，使得特色损失同时实现内容构造和风格特征的保护。
论断与后果
试验显然表明，应用 SANet 进行格调迁徙所取得的后果将解析各种格调，
例如全局色彩散布，纹理和部分格调，同时放弃内容的构造。同样，SANet 在辨别内容构造和与每个语义内容绝对应的迁徙格调方面也很有用。因而能够推断出，SANet 不仅在放弃内容构造方面很无效，而且在保留格调结构特征方面也很无效，并且能够轻松地交融风格特征，从而丰盛了全局格调和部分格调统计信息。
参考文献
[1] 朴大英和李光熙。“通过关注格调的网络进行任意格调的迁徙。”IEEE 计算机视觉与模式识别会议论文集。2019。
- https://openaccess.thecvf.com…
[2] Gatys，Leon A.，Alexander S. Ecker 和 Matthias Bethge。“应用卷积神经网络进行图像格调迁徙。”IEEE 计算机视觉和模式识别会议论文集。2016。
- https://openaccess.thecvf.com…
[3] Huang，Xun 和 Serge Belongie。“通过自适应实例标准化实时进行任意格调迁徙。”IEEE 国内计算机视觉会议论文集。2017。
- https://openaccess.thecvf.com…
[4] 李一军，等。“通过特色转换实现通用格调迁徙。”神经信息处理系统的研究进展。2017。
- http://papers.nips.cc/paper/6…
[5] 盛路，等。“头像网：通过特色装璜进行多尺度零镜头格调转移。”IEEE 计算机视觉与模式识别会议论文集。2018。
- https://openaccess.thecvf.com…
原文链接：https://medium.com/visionwiza…
欢送关注磐创 AI 博客站：
http://panchuang.net/
sklearn 机器学习中文官网文档：
http://sklearn123.com/
欢送关注磐创博客资源汇总站：
http://docs.panchuang.net/
