NVIDIA Research 的最新 AI 模型可谓生成式对抗网络(GAN)领域的“神童”。相较于典型的 GAN,它只需要基于极少量的学习材料,就能学习诸如模仿著名画家和重建癌症组织图像这样复杂的技能。

 

通过将一种突破性的神经网络训练技术应用于常用的 NVIDIA StyleGAN2 模型,NVIDIA 的研究人员基于大都会艺术博物馆中不到 1,500 张图像重新设计了艺术作品。他们使用 NVIDIA DGX 系统加速训练,从历史人物肖像中汲取灵感,创作出了全新的 AI 艺术作品。

 

 

这种称为自适应鉴别器增强(ADA)的技术能在将训练图像的数量缩减 10-20 倍的情况下,仍保持不错的效果。未来,该技术将会为医疗健康领域带来重大影响,例如,可通过创建癌症组织学图像来帮助训练其他 AI 模型。

 

NVIDIA 图形研究副总裁 David Luebke 表示:“这些研究结果意味着,人们可以使用 GAN 来解决大量数据过于耗时或难以获取的问题。我十分期待艺术家、医学专家和研究人员能够对其充分利用,实现更多应用。”

 

本周,这一项目的研究论文将在年度神经信息处理系统大会 NeurIPS 上发表。在本届大会上,NVIDIA Research 破纪录地有 28 篇研究论文入选,该论文就是其中之一。

 

这种新方法是 NVIDIA 研究人员在 GAN 领域的一系列创新中的最新成果。这些研究人员开发了基于 GAN 的突破性模型,包括 AI 绘画应用程序 GauGAN、游戏引擎模拟器 GameGAN 和宠物照片转换器 GANimal。这些模型在 NVIDIA AI Playground 均有提供。

 

数据训练的困境

像大多数神经网络一样,GAN 长期遵循一个基本原则:数据训练量越多,模型越完善。这是因为每个 GAN 都由两个配合的网络组成——一个生成合成图像的生成器,以及一个根据训练数据来学习逼真图像的鉴别器。

 

鉴别器会指导生成器,提供逐个像素反馈,以帮助其提升合成图像的真实感。但如果可供学习的训练数据有限,鉴别器就无法帮助生成器发挥其全部潜能,就如同新手教练的实战经验要比经验丰富的专家少得多。

 

要训练高质量的 GAN,通常需要 50,000 至 100,000 个训练图像。但在很多情况下,研究人员根本没有成千上万的样本图像可以利用。

 

仅使用几千张图像进行训练,许多 GAN 就会难以运行,无法产生逼真的结果。当鉴别器仅能记住训练图像而无法向生成器提供有用的反馈时,就会发生“过拟合”的问题。

 

在图像分类任务中,研究人员会通过数据增强来解决过拟合的问题。这项技术使用现有图像的副本来扩展较小的数据集,这些副本经过旋转、裁剪或翻转等过程而随机扭曲,从而迫使模型更加通用化。

 

但是,此前将增强技术应用于 GAN 训练图像时,生成器学会了模仿那些失真的图像,而非创建可信的合成图像。

 

GAN 的实战演练

NVIDIA Research 的 ADA 技术能够自适应地应用数据增强,这意味着在训练过程中的不同点上,可以调整数据增强的数量,以避免过拟合。这使诸如 StyleGAN2 这样的模型可以使用更少的训练图像,获得同样惊人的效果。

 

结果,研究人员可以将 GAN 应用于从前看来不切实际的应用中。在这些应用中,示例往往太少且难以获得,或收集大型数据集的工作太耗费时间。

 

艺术家使用了不同版本的 StyleGAN 来创作令人惊叹的展品,并根据传奇插画家 Osamu Tezuka 的风格创作了新的漫画。Adobe 甚至采用它来为 Photoshop 的全新 AI 工具“神经过滤器(Neural Filters)”提供支持。

 

由于入门所需的训练数据较少,因此采用 ADA 的 StyleGAN2 可应用于珍稀艺术作品,例如总部位于巴黎的 AI 艺术团体 Obvious 在非洲科塔面具上的作品。

 

另一潜在应用是医疗健康领域,因为大多数检查结果都是正常的,因此罕见疾病的医学图像可能非常稀少。要想积累大量有用的异常病理切片数据集,需要医学专家花费大量时间,辛苦地进行标记。

 

通过 GAN,采用 ADA 创建的合成图像可以填补这一空白,为另一种 AI 模型生成训练数据,从而帮助病理学家或放射学家发现病理图像或 MRI 研究中的罕见病情。此外,借助 AI 生成的数据,就不存在患者数据或隐私方面的担忧,更便于医疗机构共享数据集。

 

NVIDIA Research 在 NeurIPS 上大放异彩

NVIDIA Research 成员团队由全球 200 多名科学家组成,致力于 AI、计算机视觉、自动驾驶汽车、机器人技术和图形学等领域。在 12 月 6 日至 12 日举行的年度最大的 AI 研究会议 NeurIPS 上,将重点介绍 NVIDIA 研究人员撰写的超过 24 篇论文。