[发明专利]一种实时语音驱动的照片级真实感人脸肖像视频生成方法

权利要求书

1.一种实时语音驱动的照片级真实感人脸肖像视频生成方法，其特征在于，包括如下步骤：

S1：使用深度神经网络从输入语音中提取深度语音特征；

S2：对步骤S1得到的所述深度语音特征在目标人物的语音流形空间上进行重建，得到重建后的深度语音特征；

S3：将所述重建后的深度语音特征作为嘴部预测网络的输入，由嘴部预测网络生成嘴部运动；

S4：将所述重建后的深度语音特征作为头部姿态预测网络的输入，由头部姿态预测网络生成头部姿态，根据生成的所述头部姿态，再生成上半身运动；

S5：将步骤S3和步骤S4获取的所述嘴部运动、所述头部姿态、所述上半身运动融合生成条件特征图，对于目标人脸，从训练集中自动选取候选图集；

S6：使用所述条件特征图和候选图图集作为条件图片到图片转换网络的输入，生成目标人物的照片级真实人脸肖像。

2.根据权利要求1所述的实时语音驱动的照片级真实感人脸肖像视频生成方法，其特征在于，所述步骤S1中，提取深度语音特征的具体方法为：通过自监督方式训练深度学习网络，使所述深度学习网络能够从手工设计的浅层语音特征中学习高层的说话人独立的深度语音特征；所述深度学习网络架构由三层门控循环单元构成，采用自回归的预测方式来提取结构化的语音特征。

3.根据权利要求1所述的实时语音驱动的照片级真实感人脸肖像视频生成方法，其特征在于，所述步骤S2中，对所述步骤S1得到的深度语音特征进行重建的具体方法为：

对所述语音流形空间进行局部线性嵌入假设：每个数据点和每个数据点的近邻点在高维流形上是局部线性的；

根据所述步骤S1提取的深度语音特征，在每个维度上计算所述深度语音特征局部线性嵌入重建表征；

在目标人物的语音数据集中，通过计算欧式距离，找到所述深度语音特征的K个最近邻点；

计算由所述K个最近邻点来最佳重建语音特征的线性组合，重建后的语音特征点为重建在目标人物语音空间中的特征点。

4.根据权利要求1所述的实时语音驱动的照片级真实感人脸肖像视频生成方法，其特征在于，所述步骤S3中，由嘴部预测网络学习预测嘴部关键点的运动；所述嘴部预测网络由一个三层的长短期记忆人工神经网络和三层多层感知机构成。

5.根据权利要求1所述的实时语音驱动的照片级真实感人脸肖像视频生成方法，其特征在于，所述步骤S4中，头部姿态预测网络的设计基于两个假设：1)头部姿态部分相关于语音信息，2)头部姿态部分相关于历史头部姿态；所述头部姿态预测网络由堆叠的空洞卷积组成，输入序列为所述重建后的深度语音特征和历史头部姿态序列，并以自回归的方式预测未来头部姿态的分布概率，并从所述分布概率中采样得到头部姿态；目标人物的上半身建模为广告牌模型，即深度一致的平板模型，其深度由预测到的头部运动姿态按比例采样得到。