新的AI技术支持对现实生活中的物体进行3D捕捉和编辑

想象一下，使用智能手机扫描一个对象，并获得一个可以从任何角度查看的逼真、完全可编辑的3D模型。由于人工智能的进步，这正在迅速成为现实。

加拿大西蒙弗雷泽大学(SFU)的研究人员推出了新的人工智能技术来实现这一目标。很快，普通消费者将不再只是拍摄2D照片，而是能够拍摄现实生活中物体的3D图像，并根据自己的意愿编辑其形状和外观，就像现在处理普通2D照片一样轻松。

在arXiv预印本服务器上发表的一篇新论文中，研究人员在路易斯安那州新奥尔良举行的2023年神经信息处理系统会议(NeurIPS)上发表了一篇新论文，展示了一种称为邻近注意点渲染(PAPR)的新技术，该技术可以将一组2D将物体的照片转化为代表物体形状和外观的3D点云。

每个点都为用户提供了一个旋钮来控制对象，拖动点可以更改对象的形状，编辑点的属性可以更改对象的外观。然后，在称为“渲染”的过程中，可以从任何角度查看3D点云，并将其转换为2D照片，显示编辑后的对象，就像照片是从现实生活中的该角度拍摄的一样。

利用新的人工智能技术，研究人员展示了如何让雕像栩栩如生——该技术自动将一组雕像照片转换为3D点云，然后将其动画化。最终的结果是一段视频，视频中雕像将头部从一侧转向另一侧，观众被引导到周围的路径上。

“人工智能和机器学习确实正在推动从2D图像重建3D对象的范式转变。机器学习在计算机视觉和自然语言等领域取得的巨大成功激励研究人员研究如何重新设计传统的3D图形管道西蒙弗雷泽大学(SFU)计算机科学助理教授、APEX实验室主任、高级研究员李柯博士说：作者在论文上。

“事实证明，成功做到这一点比我们预想的要困难得多，需要克服多项技术挑战。最令我兴奋的是这为消费技术带来的多种可能性——3D可能会成为像视觉传达和表达一样常见的媒介。2D就是今天。”

3D中最大的挑战之一是如何以允许用户轻松直观地编辑3D形状的方式表示它们。之前的一种方法称为神经辐射场(NeRF)，无法轻松进行形状编辑，因为它需要用户提供每个连续坐标所发生情况的描述。一种称为3D高斯喷射(3DGS)的更新方法也不太适合形状编辑，因为形状表面在编辑后可能会被粉碎或撕成碎片。

当研究人员意识到，他们可以将每个点云中的每个3D点视为连续插值器中的控制点，而不是将点云中的每个3D点视为离散的splat时，他们得到了一个关键的见解。然后，当点移动时，形状会以直观的方式自动变化。这类似于动画师定义动画视频中对象运动的方式——通过指定对象在几个时间点的位置，它们在每个时间点的运动都是由插值器自动生成的。

然而，如何在任意一组3D点之间以数学方式定义插值器并不简单。研究人员制定了一种机器学习模型，可以使用一种称为邻近注意力的新颖机制以端到端的方式学习插值器。

为了表彰这一技术飞跃，该论文在NeurIPS会议上获得了关注，这一荣誉是为会议提交的论文中排名前3.6%的人保留的。

研究团队对即将发生的事情感到兴奋。“这为我们所展示的许多应用开辟了道路，”李博士说。“我们已经在探索利用PAPR来建模移动3D场景的各种方法，迄今为止的结果非常有希望。”

论文作者为张彦书、彭世冲、AlirezaMoazeni和李科。张和彭是共同第一作者，张、彭和Moazeni是博士。计算机科学学院的学生以及西蒙弗雷泽大学(SFU)APEX实验室的成员。