NVIDIA用一张图生成完整3D模型提升机器识别能力

集微网消息(文/Yuna),据MONOist网站报道,NVIDIA通过训练神经网络,用仅仅1张照片生成了具有完整纹理的3D模型。

自动生成3D模型的技术之前就已经出现,但前期需要准备从不同角度拍摄的多张照片,或需要人为输入一些参数来限定特定对象的尺寸和形状。

近日,NVIDIA研究小组在加拿大温哥华举行的年度神经信息处理系统会议上,发表了新论文“Learning to Predict 3D Objects with an Interpolation-Based Renderer”(基于插值的渲染器进行3D对象预测)。提出了一个完整的基于光栅化的微分渲染器,可以通过分析来计算梯度。当包裹在神经网络周围时,他们的框架学会了从单个图像预测形状,纹理和光线,并且展示了他们的框架以学习3D纹理形状的生成器。

NVIDIA研究人员在多个数据集上训练了微分渲染器神经网络,类似鸟类的图案,神经网络的训练可能需要2天左右,一旦训练完成,就能在100毫秒内根据未训练过的鸟类照片进行鸟类3D模型的量产。

这项技术可以用于机器人及自动驾驶领域,能够极大改善机器对物体的识别及理解能力。比如摄像机的实时视频中的静止图像可以立即转换为3D模型,从而使自动驾驶汽车能够准确地确定需要避开的大型卡车的尺寸。

这项技术同时也带来了一些隐私上的安全隐患,2D画面复原成3D模型技术的提升会带来图像匹配监视技术的发展,加速监控社会的形成。(校对/holly)

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注