AI模型根据人的图片创建3D化身

如果创建一个人的逼真的数字化身只需要一张图片怎么办?在2020年计算机视觉和模式识别会议(CVPR)上接受的论文中，伦敦帝国学院和利用AI和机器学习进行面部分析的初创公司FaceSoft.io的研究人员描述了AvatarMe，该技术能够重建逼真的3D来自“荒野”照片的半身像。他们声称它比现有系统有“显着优势”，并能从低分辨率目标生成真实的4K x 6K分辨率的3D人脸，并进行详细的反射。

渲染3D人脸在从视频会议到虚拟现实的各个领域中都有无数的应用，但是尽管可以在没有AI的情况下推断出几何形状，但是需要更多信息才能在任意场景中渲染人脸。

为了提取这些信息，研究人员使用带有168盏灯和9台DSLR相机的LED球形装置捕获了200个人的杯子的孔隙水平反射率图。然后，他们使用它来训练AI模型-GANFIT-从纹理合成现实地图，同时优化渲染和输出之间的“身份匹配”。

与其他生成对抗网络(GAN)一样，GANFIT是一个由两部分组成的模型，由生成样本的生成器和试图区分生成的样本与真实样本的鉴别器组成。生成器和鉴别器的能力都得到了改善，直到鉴别器无法从合成示例中分辨出真实示例的准确度超过预期的50%。

AvatarMe管道的另一个组件增强了纹理的分辨率，而三分之一则删除了GANFIT引入的“烘焙”照明。然后，一个单独的模块根据光照纹理预测毛孔，皱纹或头发等皮肤结构的每像素反射率，甚至估算细微的皱纹，疤痕和皮肤毛孔等表面细节。

研究人员说，在实验中，AvatarMe在最终渲染中没有产生任何伪像，并成功处理了“极端”姿势和遮挡物，例如太阳镜。反射率是一致的，即使在不同的环境中，系统也会“真实地”照亮被摄体。

AvatarMe并非没有局限性。训练数据集没有包含来自某些种族的主题的许多示例，导致在尝试重建肤色较黑的主题的面部时表现不佳。而且面部重建并不完全独立于输入的照片-光线充足，分辨率更高的图像可以产生更准确的结果。尽管如此，合著者断言这是用任何肖像图像(包括黑白和手绘草图)实现“可渲染”人脸的第一种方法。

AvatarMe只是最新的生成艺术的AI系统，可以使以前的手动过程自动化。初创公司Promethean AI利用机器学习来帮助人类艺术家为视频游戏创作艺术。Nvidia研究人员最近展示了一种生成模型，该模型可以使用视频片段创建虚拟环境。在其他地方，机器学习已被用于挽救诸如《最终幻想VII》和《塞尔达传说：暮光之城》等复古游戏中的旧游戏纹理，并从头开始在《毁灭战士》中生成数千个关卡。