Instant NeRF可以在几毫秒内将2D图像转化为3D场景
更新时间:2022-03-28 14:45:10 浏览次数:331+次这确实是一个现代技术的时代,在这个时代,事情只需几秒钟就能完成。Instant NeRF证明了这一点,在英伟达研究团队进行的一次演示中,它能够渲染一个3D场景,其中有一个穿着像安迪-沃霍尔的模特。使用不同角度拍摄的静止照片,只花了几十毫秒就完成了这个过程。
参考资料:https://nvlabs.github.io/instant-ngp/assets/mueller2022instant.pdf
据英伟达称,Instant NeRF的概念相当简单:使用逆向渲染并将其应用于神经辐射场,或称NeRF,人们可以在一瞬间将一组2D图像转化为3D作品。这与传统的渲染3D场景的方法相去甚远,后者通常需要数小时至数天的时间,这取决于你想要包含的细节。早期使用人工智能的NeRF模型在某种程度上缩短了渲染时间,尽管不是那么明显。然后,即时NeRF来了,这种方法可以在几毫秒内完成。
参考资料:https://www.matthewtancik.com/nerf
“英伟达图形研究副总裁David Luebke说:”如果说传统的3D表现形式(如多边形网格)类似于矢量图像,那么NeRFs则类似于位图图像:它们密集地捕捉光线从一个物体或场景中辐射出来的方式。”从这个意义上说,Instant NeRF对3D的重要性不亚于数码相机和JPEG压缩对2D摄影的重要性–极大地提高了3D捕捉和分享的速度、便利性和范围。
Instant NeRF包括一个快速的2D图像捕捉过程,即捕捉静止的镜头,因为被摄者的动作会转化为模糊的3D场景。在此之后,NeRF将通过提供缺失的信息和预测三维空间中任何方向上辐射的光线的颜色来重新创建该场景。
“它依赖于英伟达公司开发的一种叫做多分辨率哈希网格编码的技术,这种技术经过优化,可以在英伟达GPU上高效运行,”英伟达公司企业传播团队的Isha Salian在一篇博客文章中写道。”使用一种新的输入编码方法,研究人员可以使用一个快速运行的微小神经网络实现高质量的结果……该模型是使用英伟达CUDA工具包和Tiny CUDA神经网络库开发的。由于它是一个轻量级的神经网络,它可以在单个英伟达GPU上训练和运行–在带有英伟达张量核心的卡上运行速度最快”。
据英伟达称,Instant NeRF可用于多种用途,包括创建化身和虚拟世界或以3D形式重建场景和事件。它还可用于帮助和训练机器人学习物体的大小、形状和实际尺寸。