出品人：Towhee 技术团队 王翔宇、顾梦佳
pix2pix3D 是一种用于可控真切图像合成的 3D 感知条件生成模型。给定一个二维标签图，例如宰割图或边缘图，pix2pix3D 模型会学习从不同的角度合成相应的图像。为了启用显式 3D 用户管制，它应用神经辐射场扩大条件生成模型。给定宽泛可用的单目图像和标签图对，该模型除了色彩和密度之外，还会学习为每个 3D 点调配标签，这使其可能同时渲染图像和像素对齐的标签图。另外，研究者还基于这个模型构建了一个交互式零碎，容许用户从任何角度编辑标签图并相应地生成输入。
Overall pix2pix3D 给定一个二维标签图（例如，宰割图）、一个随机潜在代码和一个相机姿态作为输出，生成器会以相机姿态作为视角渲染标签图和图像。输出标签图指定几何构造，而潜在编码捕捉外观，例如头发色彩。首先编码器将输出标签的映射和潜在代码编码为款式向量。而后模型应用该向量来调制三维表征，采纳空间点并输入色彩、密度、特色以及标签。接着模型执行体积渲染，并进行二维上采样以取得高分辨率标签图和 RGB 图像。最终，模型将从标签姿态渲染的后果与实在标签和图像进行比拟，计算 LPIPS 损失和标签重建损失。另外，对于从新鲜和原始视角出现的标签和图像，模型抉择应用 GAN 损失。
相干材料：
代码地址：https://github.com/dunbar12138/pix2pix3D
论文链接：3D-aware Conditional Image Synthesis