[发明专利]联合语气词特征的视音频驱动人脸动画实现方法及系统

权利要求书

1.一种联合语气词特征的视音频驱动人脸动画实现方法，其特征在于，通过提取语音特征构建出语音特征矩阵，利用语气词增强训练网络的多层卷积操作对语音特征矩阵进行采样并映射到低维空间的中间变量；对输入的语音转换成文字，从文字内容中识别出语气词并构建one-hot向量，与中间变量拼接后得到包含语气词特征的中间变量；再通过语气词增强训练网络进行卷积后映射为当前帧的表情AU参数，用于与视频追踪、语音预测算法生成的AU参数拟合后作为人脸模型的驱动参数，实现表情增强；

所述的语音特征矩阵，采用python_speech_feature库提取，得到的语音特征为音频MFCC、Fbank或SSC，设置时间窗口，对多帧的语音特征构建语音特征矩阵；

所述的语气词增强训练网络包括四层卷积层；

所述的语气词包括：在语句中用于表示语气，与情绪变化直接相关的词语。

2.根据权利要求1所述的联合语气词特征的视音频驱动人脸动画实现方法，其特征是，所述的语气词增强训练网络中第一层和第二层卷积层的filter大小为64，kernel大小为4×1，strides为4×1，第三层卷积层的filter大小为32，kernel大小为3×1，strides为3×1，第四层卷积层的filter大小为16，kernel大小为2×1，strides为2×1，各卷积层之间使用ReLu函数进行激活。

3.根据权利要求1所述的联合语气词特征的视音频驱动人脸动画实现方法，其特征是，所述的语气词增强训练网络，通过以下方式构建得到用于训练的数据集，包括以下步骤：

1)人工挑选视频中含有语气词的片段，标注片段的起止时间；

2)使用工具自动剪切视频，得到含有语气词的各个视频片段；

3)对各个视频片段中的音频内容进行处理，转成文字内容；

4)人工矫正文字内容。

4.一种实现上述任一权利要求所述方法的联合语气词特征的视音频驱动人脸动画实现系统，其特征在于，包括：openface视频追踪模块、语音预测模块、语气词增强模块和可视化模块，其中：openface视频追踪模块根据处理视频输入信息，进行面部位姿计算得到面部旋转角、视线旋转角，进行表情AU参数检测得到AU强度参数，语音预测模块根据处理语音输入信息，通过语音特征窗口预测表情AU参数，语气词增强模块转换语音内容为文字，进行语气词特征提取后进一步进行表情增强处理，并使用语气词特征搭建语气词增强训练网络预测用于增强的表情AU参数，可视化模块根据视频追踪模块、语音预测模块和语气词增强模块输出的表情AU参数，进行融合处理，得到最终用于驱动人脸模型的AU参数，驱动人脸模型动画。

5.根据权利要求4所述的视音频驱动人脸动画实现系统，其特征是，所述的Openface视频追踪模块包括：人脸识别单元、面部关键点检测单元、面部位姿检测单元以及AU强度估计单元，其中：人脸识别单元根据当前帧的图像数据信息，进行人脸检测并得到人脸位置结果集，面部关键点检测单元根据人脸位置信息，进行关键点检测处理并得到面部关键点集，面部位姿检测单元根据面部关键点信息，进行PnP求解并得到面部旋转角，AU强度估计单元根据面部关键点位置和图像数据，生成定向梯度直方图，并基于CE-CLM模型求解各AU强度参数。

6.根据权利要求4所述的视音频驱动人脸动画实现系统，其特征是，所述的语音预测模块包括：语音特征提取单元、AU分类检测单元以及AU强度回归预测单元，其中：语音特征提取单元根据输入的音频序列信息，使用python_speech_feature库提取MFCC、Fbank、SSC这三种音频特征；AU分类检测单元根据音频特征信息，构建特征窗口向量，通过输入AU分类阶段的网络并输出得到当前帧的AU分类结果；AU强度回归预测单元根据AU分类单元的特征窗口向量和AU分类结果，通过输入AU强度回归阶段的网络并输出得到当前帧的AU强度估计结果。