[发明专利]一种语音驱动的人脸动作实时转移方法和系统

权利要求书

1.一种语音驱动的人脸动作实时转移方法，其特征在于，包括：

输入源角色的音频序列；

估计所述音频序列中的每一帧的音频信号表征；

根据所估计的每一音频帧的所述音频信号表征驱动一三维面部模型动作；

获取目标视频帧；

基于所驱动的所述三维面部模型，对所述目标视频帧图像上的人脸动作进行预测，得到人脸动作预测结果；

将预测到的所述人脸动作预测结果合成到所述目标视频中的对应帧图像上，实现语音驱动的人脸动作实时转移。

2.根据权利要求1所述的人脸动作实时转移方法，其特征在于，基于FacialSpeech语音识别框架估计所述音频序列中的每一帧的所述音频信号表征。

3.根据权利要求2所述的人脸动作实时转移方法，其特征在于，输入所述FacialSpeech语音识别框架中的每帧音频的特征维数为16×29，

数字“16”表示每帧音频包含16个音频特征的时间窗口；

数字“29”表示FacialSpeech字母表的长度为29。

4.根据权利要求3所述的人脸动作实时转移方法，其特征在于，所述FacialSpeech语音识别框架包括依序级联的4个卷积层和3个全连接层，输入的16×29维的音频特征经过第一卷积层的一维特征卷积提取后输出8×32维的音频特征；

8×32维的音频特征经过第二卷积层的一维特征卷积提取后输出4×32维的音频特征；

4×32维的音频特征经过第三卷积层的一维特征卷积提取后输出2×64维的音频特征；

2×64维的音频特征经过第四卷积层的一维特征卷积提取后输出64个的音频特征；

第一全连接层将64个音频特征映射到128个；

第二全连接层将128个音频特征映射到64个；

第三全连接层将64个音频特征映射为长度为32的音频表征向量。

5.根据权利要求4所述的人脸动作实时转移方法，其特征在于，4个所述卷积层的卷积核尺寸为3，步长为2。

6.一种语音驱动的人脸动作实时转移系统，可实现如权利要求1-5任意一项所述的方法，其特征在于，包括：

音频序列输入模块，用于输入源角色的音频序列；

音频信号表达式估计模块，连接所述音频序列输入模块，用于估计所述音频序列中的每一帧的音频信号表征；

模型动作驱动模块，连接所述音频信号表达式估计模块，用于根据每一音频帧的所述音频信号表征驱动一三维面部模型动作；

目标视频帧获取模块，用于获取目标视频帧；

目标帧人脸动作预测模块，分别连接所述模型动作驱动模块和所述目标视频帧获取模块，用于基于所驱动的所述三维面部模型，对所述目标视频帧图像上的人脸动作进行预测，得到人脸动作预测结果；

人脸动作转移模块，连接所述目标帧人脸动作预测模块，用于将预测到的所述人脸动作预测结果合成到所述目标视频帧中的对应帧图像上，实现语音驱动的人脸动作实时转移。

7.根据权利要求6所述的人脸动作实时转移系统，其特征在于，基于FacialSpeech语音识别框架估计所述音频序列中的每一帧的所述音频信号表征。

8.根据权利要求7所述的人脸动作实时转移系统，其特征在于，输入所述FacialSpeech语音识别框架中的每帧音频的特征维数为16×29，

数字“16”表示每帧音频包含16个音频特征的时间窗口；

数字“29”表示FacialSpeech字母表的长度为29。