[发明专利]基于协同过滤算法的实时语音驱动人脸唇部同步动画系统

摘要

本发明是基于协同过滤算法的实时语音驱动人脸唇部同步动画系统，通过实时录入语音，使得人物头部模型做出与输入语音同步的唇部动画。系统包含有音视频编码模块，该模块对采集到的语音和人脸三维特征点运动信息分别进行Mel频率倒谱参数编码和“动态图像专家组”(MPEG-4)标准中的人脸动画参数编码，由音视频编码模块得到Mel频率倒谱参数和人脸动画参数多模态同步库；协同过滤模块使用协同过滤算法，由新输入语音的Mel频率倒谱参数编码结合Mel频率倒谱参数和人脸动画参数多模态同步库求出与语音同步的人脸动画参数；动画模块由人脸动画参数驱动人脸模型进行动画。本发明系统有较好的真实感，实时性以及更广泛的应用环境。

主权项

一种基于协同过滤算法的实时语音驱动人脸唇部同步动画系统，其特征在于包括音视频编码模块、协同过滤模块和人脸动画模块，其中：利用数字录音设备，实时地接收输入的语音信号，并实时地输出与语音同步的人脸唇部动画，在生成多模态同步库时不需要手工标注，可任意输入男女语音进行语音驱动的唇部动画；在离线过程中，首先利用多模态数据采集设备同步地采集录制说话人在说话中语音和人脸三维特征点运动信息；音视频编码模块的输入端接收来自多模态数据采集设备采集到的语音和人脸三维特征点运动信息，对其中的语音信息和人脸三维特征点运动信息分别进行Mel频率倒谱参数(MFCC)编码和人脸动画参数(FAP)编码；在实时过程中，音视频编码模块的输入端接收来自数字录音设备实时录制的语音信息；音视频编码模块具有一输出端，在离线过程中输出MFCC FAP多模态同步库；在实时过程中输出语音的Mel频率倒谱参数；协同过滤模块与音视频编码模块连接，协同过滤模块输入端接收来自于音频编码模块生成的Mel频率倒谱参数、音视频编码模块生成Mel频率倒谱参数和人脸动画参数多模态同步库中的多模态数据；协同过滤模块具有一输出端输出使用协同过滤算法实时生成与输入语音同步的人脸动画参数；人脸动画模块与协同过滤模块连接，人脸动画模块输入端接收来自于协同过滤模块生成的人脸动画参数，将这些人脸动画参数转化成人脸模型的运动信息；人脸动画模块具有一输出端输出人脸动画参数，并由人脸动画参数驱动二维或三维人脸模型进行人脸唇部动画。