乐趣区

美国高校研发图像处理机器学习模型同通过多种方式修改任何图像

技术编辑:芒果果丨发自 思否编辑部
SegmentFault 思否报道丨公众号:SegmentFault

加州大学伯克利分校和 Adobe 研究所的钻研人员在一篇论文中形容了一种替换主动编码器,这是一种专门为图像处理设计的机器学习模型。

钻研人员称,这种机器学习模型能够用多种形式批改任何图像,包含纹理替换,同时与以前的生成模型相比,效率更高。

替换主动编码器可合成真切图片

钻研人员示意,他们的工作能够用来制作难辨虚实的图像或合成媒体,将现有的图像或视频中的人替换为其他人的肖像。在一项人类感知钻研中,应用替换主动编码器创立的图像将受试者蒙骗了 31% 的工夫。然而他们也提到,检测器至多有至多能够在 73.9% 的工夫内胜利发现由该工具操纵的图像,这表明“替换主动编码器”没有比其余 AI 驱动的图像操纵工具更无害。

论文的合著者在报告中写道:“咱们证实,基于主动编码器模型的办法与以前的工作相比具备许多劣势,因为它能够实时精确地将高分辨率图像嵌入到将纹理与构造离开并产生真实感的嵌入空间中,并生成实在的输入图像……示意中的每个代码都能够独立批改,以使生成的图像看起来既真切又反映了未修改的代码。”

轻量级 AI 模型,可实时精确嵌入图像

钻研人员的办法并不离奇,因为许多人工智能模型能够通过编辑图像的某些局部来创立新图像。例如,MIT-IBM 沃森人工智能实验室公布了一个工具,能够让用户上传照片并定制图片中的修建、动物和安装的外观,Nvidia 的 GauGAN 能够创立从未存在过的栩栩如生的景观图像。然而,这些模型在设计上往往具备挑战性,并且运行起来计算量大。

相比之下,替换主动编码器是轻量级的,它应用图像替换作为“借口”工作来学习对图像处理有用的嵌入空间。它将给定的图像编码为两个独立的潜在代码——“构造”代码和“纹理”代码——用于示意构造和纹理。在训练过程中,构造代码学习与场景的布局或构造绝对应,而纹理代码捕获场景整体外观的属性。

替换主动编码器实用于老手用户,可创立大众化内容

在一项试验中,钻研人员在一个蕴含教堂、动物脸孔、卧室、人、山脉和瀑布图像的数据集上训练替换主动编码器,并开发了一个网络应用程序,能够对上传的照片进行准确管制。该应用程序反对全局款式编辑和区域编辑,以及克隆,用一个画笔工具来替换图像的其余局部的构造代码。

钻研人员称:“用于创造性表白的工具是人类文化的重要组成部分,像咱们的办法这样基于学习的内容创立工具能够用于大众化内容创立,让老手用户能够合成引人注目的图片。”

退出移动版