英伟达虚拟AI再现“名场面”，“卷”进元宇宙了！

爵士乐的精髓在于即兴演奏，英伟达正在通过AI研究向这一流派致敬。也许有一天，图形创作者可以使用快速创建出的 3D 物体，来一场即兴表演。

本周在新奥尔良举行的计算机视觉和模式识别会议CVPR上，英伟达的可逆渲染流程NVIDIA 3D MoMa惊艳亮相。通过NVIDIA 3D MoMa渲染流水线，结合GPU加速，可以使用现代AI机器和GPU的原始算力快速生成3D物体，创作者可以在现有工具中自由地导入、编辑和扩展这些物体。

为了展示NVIDIA 3D MoMa的功能，英伟达的研究和创意团队从不同角度收集了约100张小号、长号、萨克斯、架子鼓和单簧管这五种爵士乐器的图片。

他们首先将2D图像重建为3D，并以网格形式呈现。然后将这些乐器从原始场景中取出，导入NVIDIA Omniverse 3D模拟平台进行编辑。

在任何传统图形引擎中，创作者都可以轻松为形状调换由NVIDIA 3D MoMa生成的材质，就像给网格穿上不同的衣服一样。例如该团队对小号模型采取了这种做法，将原来的塑料材质快速更换成黄金、大理石、木材或软木。

然后，创作者可以将新编辑的物体放入任何虚拟场景中。英伟达团队将这些乐器放入了经典的图形渲染质量测试康奈尔盒中。他们证明了虚拟乐器对光线的反应与在物理世界中完全一样：闪亮的铜管乐器反射出亮光，哑光的鼓皮则会吸收光线。

这些通过逆渲染生成的新物体可以作为复杂动画场景的构成要素。在爵士乐及其发源地新奥尔良，英伟达运用这些技术展示了AI和艺术的完美融合。

如何基于2D图像创建3D物体？

逆渲染是将静态照片重建为3D物体或场景模型的技术，也一直是统一计算机视觉和计算机图形学的关键。通过NVIDIA 3D MoMa渲染流水线，可以将逆渲染问题的每个部分表示为GPU加速的可微分组件，然后使用现代AI机器和英伟达GPU的原始算力快速生成3D物体，创作者可以在现有工具中自由地导入、编辑和扩展这些物体。

为了使艺术家或工程师能够充分利用 3D物体，其形式应能够导入游戏引擎、3D建模器和电影渲染器等各种被广泛使用的工具。带有纹理、材质的三角网格形式，就是此类3D工具使用的通用语言。

三角网格是用于定义3D图形和建模形状的基本框架

其实这也不是英伟达第一次实现这样的突破。在去年的CVPR 大会上，英伟达就针对当前人们云视频会议中的痛点演示了2D转3D的“神技”。

可能你也有过这样的尴尬时刻，视频会议马上开始，但是自己头发凌乱、还穿着睡衣，不敢以真面目示人……英伟达开发了一系列用于视频会议的深度学习模型，可以借助生成式对抗网络 ( GAN ) ，仅用一张人物2D图像即可合成逼真的人脸说话视频。也就是说，只需要上传一张正装工作照，你就可以不洗脸不洗头，但是同事看到的你却是得体的工作形象。可以说真的是懒人刚需了。

下图中，有一个人就是躲在视频背后的那个“懒人”，你能分辨出来吗？

英伟达去年还发布了迁移学习工具包（TLT）3.0，包括各种高精度和高性能计算机视觉和对话式AI预训练模型，以及一套强大的生产级功能，可将AI开发能力提升10倍。

此外还有Omniverse这款专注于实时仿真、数字协作的云平台，拥有高度逼真的物理模拟引擎以及高性能渲染能力。通过Omniverse，工程师和软件程序员可以模拟出新的软件，然后逐步应用到实际中。

写在最后

动态场景处理是计算机视觉当前的重要研究方向。不论是虚拟爵士乐演奏，还是其他任意2D转3D的动态呈现，背后都离不开英伟达强大的GPU算力、专注于实时仿真、数字协作的Omniverse云平台、还有海量的模型构建、丰富的SDK工具包等支撑。

这场“卷到”元宇宙里的演奏会，相信只是小试牛刀。毕竟在英伟达通过AI系统所创建的数字孪生虚拟世界构想中，构建出一个数字孪生的地球也是有可能的，希望这些蓝图的实现，能够真正解决许多需要通过大规模虚拟才能解决的“疑难杂症”。