逝去16年后，AI让张国荣又重生了(4)

另外，目前以fakeApp为代表的应用存在分辨率低、效果不稳定、渲染时间长的问题。QuantumLiu介绍，用AI和特效技术解决连续针断点再融入难题，one shot面部自适应，机器自主学习光感和画面匹配度，每一次的训练都会自动叠带，成功率，效果和渲染速度大幅提高，动态视频的切换更加完美的匹配。目前已经取得了高分辨率光感匹配的突破和叠加式渲染的突破。已经可以在几个小时内完成一整部片的替换，而且计算机学习的速度越来越快，时间周期还在不断的缩短，品质不断提高。

Deepfakes技术详解

QuantumLiu将在近期发布张国荣“复活”视频的具体实现方法，在他发布之前，我们先来了解下Deepfakes的技术内容。

Deepfakes使用生成对抗网络(GAN)，其中两个机器学习模型进行了较量。一个ML模型在数据集上进行训练，然后创建伪造的视频，而另一个模型尝试检测伪造。伪造者创建假视频，直到另一个ML模型无法检测到伪造。训练数据集越大，伪造者越容易创建可信的deepfake视频。

上图显示了一个图像(在本例中是一张脸)被输入到编码器(encoder)中。其结果是同一张脸的低维表示，有时被称为latent face。根据网络架构的不同，latent face可能根本不像人脸。当通过解码器(decoder)时，latent face被重建。自动编码器是有损的，因此重建的脸不太可能有原来的细节水平。

程序员可以完全控制网络的形状：有多少层，每层有多少节点，以及它们如何连接。网络的真实知识存储在连接节点的边缘。每条边都有一个权重，找到使自动编码器能够像描述的那样工作的正确权重集是一个耗时的过程。

训练神经网络意味着优化其权重以达到特定的目标。在传统的自动编码器的情况下，网络的性能取决于它如何根据其潜在空间的表示重建原始图像。

训练Deepfakes

需要注意的是，如果我们单独训练两个自动编码器，它们将互不兼容。latent faces基于每个网络在其训练过程中认为有意义的特定特征。但是如果将两个自动编码器分别在不同的人脸上训练，它们的潜在空间将代表不同的特征。

使人脸交换技术成为可能的是找到一种方法来强制将两个潜在的人脸在相同的特征上编码。Deepfakes通过让两个网络共享相同的编码器，然后使用两个不同的解码器来解决这个问题。

在训练阶段，这两个网络需要分开处理。解码器A仅用A的人脸来训练；解码器B只用B的人脸来训练，但是所有的latent face都是由同一个编码器产生的。这意味着编码器本身必须识别两个人脸中的共同特征。因为所有的人脸都具有相似的结构，所以编码器学习“人脸”本身的概念是合理的。

生成Deepfakes

当训练过程完成后，我们可以将A生成的一个latent face传递给解码器B。如下图所示，解码器B将尝试从与A相关的信息中重构B。

如果网络已经很好地概括了人脸的构成，那么潜在空间将表示面部表情和方向。这意味着可以为B生成与A的表情和方向相同的人脸。请看下面的动图。左边，UI艺术家Anisa Sanusi的脸被从一个视频中提取并对齐。右边，一个训练好的神经网络正在重建游戏设计师Henry Hoffman的脸，以匹配Anisa的表情。

相关报道: