当年轻的马斯克换上女装,是这个亚子。
好清秀的姑娘啊~
而若加上胡子,就瞬间变成另一种“风味”。
还可以看看马斯克过几年秃头的样子。(手动狗头)
害,马斯克还是马斯克,还是那个“地球新首富”。
实现这些的,是一种基于 StyleGAN2 的新技术——StyleFlow,根据指定条件,就可以生成人脸。
除了上面这些换女装、变秃、画胡子等功能,还集成了换姿势、调整光照、改变表情等效果,甚至还可以用在车上。
根据条件生成人脸
我们知道,由于 GAN 潜伏空间内部的相互作用,通常对一个属性条件进行编辑的时候会很容易导致其他属性不必要的而变化。本文正是基于这个背景下,提出了 StyleFlow。
具体来说,探讨了两个方面的问题:属性条件取样和属性控制编辑。
第一,属性条件取样。对具有特定属性的高质量真实图像进行取样;
第二,属性控制编辑。对给定的图像进行编辑,使编辑后的图像具有目标属性,同时最好地保留源图像的特性。
StyleFlow 所推断的路径是以输入图像为条件,因此可以适应各个人脸的独特性。
首先从源图像开始使用反向推理,通过 CNF 块的序列进行正向推理来支持属性条件编辑。
图中,z 表示先验分布的变量,w 表示 StyleGAN 的中间权重向量。
还要注意的是,逆向推理和正向推理是由一个 ODE 求解器来实现的,它来评估时间变量上的 CNF 函数。
其中,属性向量 at 为条件学习函数是关键,既可以正向推理,也可用于反向推理。
随后,使用 StyleFlow 的属性条件采样,通过重新采样 Z0 定义他们的属性。
最终,研究人员使用 StyleGAN 的人脸和汽车潜伏空间对我们的方法进行了评估,并在真实照片和 StyleGAN 生成的图像上展示了沿各种属性的细粒度的分离编辑。
例如,对于人脸,改变了相机姿势、照明变化、表情、面部头发、性别和年龄。
还可以一对多的批量化操作。
最后通过大量的定性和定量比较,以及与已有的技术相比,研究人员证明了 StyleFlow 的优越性。
背后的团队
这项技术由阿卜杜拉国王科技大学(KAUST)、Adobe 共同研发,第一作者是来自 KAUST 的 Rameen Abdal。
研发团队中还有一位华人面孔——朱培豪。
他本科毕业于东北大学自动化专业,随后前往中国科学院大学学习计算机科学。
硕士毕业后,来到阿卜杜拉国王科技大学计算视觉中心攻读博士。
除了生成人脸,还能造车?
最后,分享一下这项技术的“造车”的效果~
改变一下颜色。
旋转任意角度。
普通车秒变 SUV~
So,马斯克感兴趣吗?(手动狗头)
GitHub:
https://github.com/RameenAbdal/StyleFlow
演示视频:
https://www.youtube.com/watch?v=LRAUJUn3EqQ&feature=youtu.be
论文地址:
https://arxiv.org/pdf/2008.02401.pdf
项目地址:
https://rameenabdal.github.io/StyleFlow