乐趣区

关于chatgpt:pix2pix3D只需编辑标签就能生成更逼真的三维图像

出品人:Towhee 技术团队 王翔宇、顾梦佳

pix2pix3D 是一种用于可控真切图像合成的 3D 感知条件生成模型。给定一个二维标签图,例如宰割图或边缘图,pix2pix3D 模型会学习从不同的角度合成相应的图像。为了启用显式 3D 用户管制,它应用神经辐射场扩大条件生成模型。给定宽泛可用的单目图像和标签图对,该模型除了色彩和密度之外,还会学习为每个 3D 点调配标签,这使其可能同时渲染图像和像素对齐的标签图。另外,研究者还基于这个模型构建了一个交互式零碎,容许用户从任何角度编辑标签图并相应地生成输入。

Overall pix2pix3D 给定一个二维标签图(例如,宰割图)、一个随机潜在代码和一个相机姿态作为输出,生成器会以相机姿态作为视角渲染标签图和图像。输出标签图指定几何构造,而潜在编码捕捉外观,例如头发色彩。首先编码器将输出标签的映射和潜在代码编码为款式向量。而后模型应用该向量来调制三维表征,采纳空间点并输入色彩、密度、特色以及标签。接着模型执行体积渲染,并进行二维上采样以取得高分辨率标签图和 RGB 图像。最终,模型将从标签姿态渲染的后果与实在标签和图像进行比拟,计算 LPIPS 损失和标签重建损失。另外,对于从新鲜和原始视角出现的标签和图像,模型抉择应用 GAN 损失。

相干材料:
代码地址:https://github.com/dunbar12138/pix2pix3D
论文链接:3D-aware Conditional Image Synthesis

退出移动版