75 年前宝丽来拍摄第一张即时照片的时候,以真切的 2D 图像捕获 3D 世界是开创性的,现在人工智能钻研人员正做着相同的事件,即几秒内将一组静止图片转换成 3D 数字场景。
上个月在英伟达 GTC 的一次会议中,英伟达演示了最新的人工智能技术并致敬了晚期的宝丽来影像,视频中展现者衣着像 Andy Warhol,手持旧款宝丽来相机,通过数十张 2D 照片疾速转换成 3D 渲染场景。
这一过程被称为反向渲染,应用人工智能来模仿光线在事实世界中的行为,使钻研人员可能从不同角度拍摄的大量 2D 图像中重建三维场景。
英伟达将这种办法利用于一种风行的新技术,称为神经辐射场或 NeRF。该工具被称为 Instant NeRF,是由加州大学伯克利分校、加州大学圣地亚哥分校以及谷歌研究院在 2020 年联合开发,通过映射不同 2D 镜头的色彩和光线强度生成数据,并联合摄像机地位数据,而后将这些来自不同地位的图像连接起来,渲染出一个残缺的 3D 场景。
只管 Instant NeRF 也须要拍摄照片的摄像头角度数据,但该模型只需几秒钟就能够对几十张动态照片进行训练,而后在几十毫秒内渲染出最终的 3D 场景,是迄今为止最快的 NeRF 技术。
英伟达图形钻研副总裁 David Luebke 示意:“如果说多边形网格等传统 3D 示意相似于矢量图像,那么 NeRFs 就像位图图像: 它们密集地捕获了物体或场景中光线的辐射形式。从这个意义上来说,Instant NeRF 对于 3D 的重要性可能就像数码相机和 JPEG 压缩对于 2D 摄影一样——极大地提高了 3D 捕获和共享的速度、易用性和覆盖范围。”
将来, 英伟达心愿 Instant NeRF 能够为虚拟世界创立场景、以 3D 形式捕获视频会议参与者及其环境、为 3D 数字地图重建场景,并用于训练机器人和汽车主动驾驶技术等畛域。
更多具体内容查看:
https://blogs.nvidia.com/blog…
https://nvlabs.github.io/inst…