[发明专利]一种3D人脸动画合成方法及系统

权利要求书

1.一种3D人脸动画合成方法，其特征在于，包括：

采集用户语音的音频特征和文本的韵律特征；

将音频特征和韵律特征作为预先训练好的轨迹预测网络的输入，得到该用户对应的发音器官运动轨迹；

利用用户的发音器官运动轨迹驱动3D头部网络模型实现唇音同步的3D人脸动画合成。

2.如权利要求1所述的3D人脸动画合成方法，其特征在于，所述轨迹预测网络包括瓶颈网络和LTRCNN网络，所述瓶颈网络的输入数据为所述韵律特征、输出为用户的发音器官运动轨迹，所述LTRCNN网络的输入为所述音频特征、所述韵律特征以及从瓶颈网络的瓶颈层提取得到的瓶颈特征、输出为所述发音器官运动轨迹。

3.如权利要求2所述的3D人脸动画合成方法，其特征在于，所述LTRCNN网络包括跨模态编码器和轨迹预测解码器，跨模态编码器的输入为所述音频特征、所述韵律特征以及从瓶颈网络的瓶颈层提取得到的瓶颈特征、输出与轨迹预测解码器的输入连接，轨迹预测解码器的输出为所述发音器官运动轨迹。

4.如权利要求1所述的3D人脸动画合成方法，其特征在于，在所述采集用户语音的音频特征和文本的韵律特征之前，还包括：

采集被试用户的发音器官运动轨迹数据、与发音器官运动轨迹同步的语音信号以及语音信号对应的文本数据；

对语音信号和文本数据分别进行特征提取，得到语音信号的音频特征和文本数据对应的韵律特征，并将音频特征、韵律特征和发音器官运动轨迹数据构建成样本集合；

利用样本集合中的样本数据对所述轨迹预测网络进行训练，得到所述训练好的轨迹预测网络。

5.如权利要求4所述的3D人脸动画合成方法，其特征在于，所述采集被试用户的发音器官运动轨迹数据、与发音器官运动轨迹同步的语音信号以及语音信号对应的文本数据，包括：

利用EMA设备采集所述被试用户的发音器官运动轨迹数据；

利用语音采集设备采集与所述被试用户的发音器官运动轨迹同步的语音信号；

利用语音识别技术对所述被试用户的语音信号进行文本合成，得到所述语音信号对应的文本数据。

6.如权利要求5所述的3D人脸动画合成方法，其特征在于，所述EMA设备的电磁换能器线圈放在所述被试用户的舌根的矢状面中线位置、舌中矢状面中线位置、舌尖矢状面中线位置、下颚矢状面中线位置、下唇矢状面中线位置以及上唇的矢状面中线位置。

7.如权利要求4所述的3D人脸动画合成方法，其特征在于，所述轨迹预测网络在欧氏距离损失的监督下完成训练，欧式距离损失函数为：

其中，和分别表示预测得到的发音器官运动x坐标和z坐标，x′和z′代表真实的发音器官运动x坐标和z坐标。

8.一种3D人脸动画合成系统，其特征在于，包括数据采集模块、运动轨迹预测模块和动画合成模块，其中：

数据采集模块用于采集用户语音的音频特征和文本的韵律特征；

运动轨迹预测模块用于将音频特征和韵律特征作为预先训练好的轨迹预测网络的输入，得到该用户对应的发音器官运动轨迹；

动画合成模块用于利用用户的发音器官运动轨迹驱动3D头部网络模型实现唇音同步的3D人脸动画合成。

9.如权利要求8所述的3D人脸动画合成系统，其特征在于，所述轨迹预测网络包括瓶颈网络和LTRCNN网络，所述LTRCNN网络包括跨模态编码器和轨迹预测解码器，所述瓶颈网络的输入数据为所述韵律特征、输出为发音器官运动轨迹，跨模态编码器的输入为所述音频特征、所述韵律特征以及从瓶颈网络的瓶颈层提取得到的瓶颈特征、输出与轨迹预测解码器的输入连接，轨迹预测解码器的输出为所述发音器官运动轨迹。

10.如权利要求8所述的3D人脸动画合成系统，其特征在于，还包括网络训练模块，其用于对所述轨迹预测网络进行训练，得到训练好的轨迹预测网络，所述轨迹预测网络在欧氏距离损失的监督下完成训练，欧式距离损失函数为：

其中，和分别表示预测得到的发音器官运动x坐标和z坐标，x′和z′代表真实的发音器官运动x坐标和z坐标。