[发明专利]一种虚拟对象唇形驱动系统

说明书

本发明涉及电通信技术领域，具体涉及一种虚拟对象唇形驱动系统，包括音频获取子系统、文本获取子系统、预处理子系统、生成子系统和驱动子系统，所述音频获取子系统获取音频数据；所述文本获取子系统获取文本数据；所述预处理子系统对所述音频数据或所述文本数据进行预处理，得到片段序列；所述生成子系统将音频或文本对应的所述片段序列输入训练好的唇部动作系数模型进行训练，得到人脸表情系数；所述驱动子系统基于所述人脸表情系数驱动目标虚拟对象做出对应的动作，无需人工进行调整，解决了需要人工根据音频对虚拟对象唇部动作进行调整，人工成本高的问题。

技术领域

本发明涉及电通信技术领域，尤其涉及一种虚拟对象唇形驱动系统。

背景技术

当前行业内的虚拟对象大多通过动画师的人工调整或者复杂的面部动作捕捉设备来实现虚拟对象的嘴部动作与音频的对应关系。

然而，通过人工绘制或者动作捕捉设备人为调整虚拟对象的嘴部动作使其与音频相对应，需要较多的人工精细调整，人工成本较高。

发明内容

本发明的目的在于提供一种虚拟对象唇形驱动系统，旨在解决需要人工根据音频对虚拟对象唇部动作进行调整，人工成本高的问题。

为实现上述目的，本发明提供了一种虚拟对象唇形驱动系统，包括音频获取子系统、文本获取子系统、预处理子系统、生成子系统和驱动子系统，所述音频获取子系统、所述预处理子系统、所述生成子系统和所述驱动子系统依次连接，所述文本获取子系统与所述预处理子系统连接；所述音频获取子系统，用于获取音频数据；所述文本获取子系统，用于获取文本数据；所述预处理子系统，用于对所述音频数据或所述文本数据进行预处理，得到片段序列；所述生成子系统，用于将所述片段序列输入训练好的唇部动作系数模型进行训练，得到人脸表情系数；所述驱动子系统，基于所述人脸表情系数驱动目标虚拟对象做出对应的动作。

其中，所述音频获取子系统包括音频获取模块和音频过滤模块，所述音频获取模块和所述音频过滤模块连接；所述音频获取模块，用于获取目标音频；所述音频过滤模块，用于过滤所述目标音频，得到音频数据。

其中，所述文本获取子系统包括文本获取模块和文本过滤模块，所述文本获取模块和所述文本过滤模块连接；所述文本获取模块，用于获取目标文本；所述文本过滤模块，用于过滤所述目标文本，得到文本数据。

其中，所述预处理子系统包括转换模块和截断模块，所述转换模块和所述截断模块依次连接；所述转换模块，用于将所述音频数据转换为文本，得到转换文本数据；所述截断模块，用于将所述转换文本数据或所述文本数据截断为片段序列。

其中，所述生成子系统包括构建模块、获取模块、训练模块和输入模块，所述构建模块、所述获取模块、所述训练模块和所述输入模块依次连接；所述构建模块，用于构建神经网络；所述获取模块，用于获取并划分公开数据集，得到训练集和验证集；所述训练模块，用于使用所述训练集和所述验证集对所述神经网络进行训练和验证，得到唇部动作系数模型；所述输入模块，用于将所述片段序列输入所述唇部动作系数模型中进行训练，得到人脸表情系数。

其中，所述获取模块包括获取单元、过滤单元和划分单元，所述获取单元、所述过滤单元和所述划分单元依次连接；所述获取单元，用于获取公开数据集；所述过滤单元，用于对所述公开数据集进行过滤，得到过滤数据集；所述划分单元，用于对所述过滤数据集进行划分，得到训练集和验证集。

其中，所述训练模块包括训练单元和验证单元，所述训练单元与所述验证单元连接；所述训练单元，用于使用所述训练集对所述神经网络进行训练，得到预训练模型；所述验证单元，用于使用所述验证集对所述预训练模型进行验证，验证通过，得到唇部动作系数模型。