[发明专利]样本生成、模型训练、口型驱动方法、装置、设备及介质

说明书

本发明实施例公开了一种样本生成、模型训练、口型驱动方法、装置、设备及介质。其中，方法包括：捕捉得到真实人物在讲话过程中形成的语音片段和口型驱动参数序列；根据驱动结果，将口型驱动参数序列与语音片段进行时间对齐；识别语音片段中的各有效语音段的起止时间，并根据起止时间，在口型驱动参数序列中分别确定与各有效语音段分别对应的口型驱动参数子序列；根据与有效语音段对应的内容表征向量，以及与有效语音段对应的口型驱动参数子序列，形成用于训练得到口型驱动参数识别模型的训练样本对。本发明实施例的方案，生成了用于训练口型驱动参数识别模型的高质量样本，为训练得到高精度的口型驱动参数识别模型提供依据。

技术领域

本发明实施例涉及人工智能技术，尤其涉及一种样本生成、模型训练、口型驱动方法、装置、设备及介质。

背景技术

随着科学技术的不断发展，人工智能在诸如直播、智能交通以及智慧医疗等领域得到了广泛地发展及应用。

在人工智能领域中，训练样本的好坏直接影响训练得到的网络模型的精度；如何生成高精度的训练样本得到了业界的广泛研究。

发明内容

本发明实施例提供一种样本生成、模型训练、口型驱动方法、装置、设备及介质，以生成用于训练口型驱动参数识别模型的样本，为训练得到高精度的口型驱动参数识别模型提供依据。

第一方面，本发明实施例提供了一种训练样本的生成方法，包括：

捕捉得到真实人物在讲话过程中形成的语音片段和口型驱动参数序列；

使用口型驱动参数序列对虚拟人物进行连续口型驱动，并根据驱动结果，将所述口型驱动参数序列与所述语音片段进行时间对齐；

识别语音片段中的各有效语音段的起止时间，并根据起止时间，在口型驱动参数序列中分别确定与各有效语音段分别对应的口型驱动参数子序列；

根据与有效语音段对应的内容表征向量，以及与有效语音段对应的口型驱动参数子序列，形成用于训练得到口型驱动参数识别模型的训练样本对。

第二方面，本发明实施例还提供了一种口型驱动参数识别模型训练方法，包括：

将预先生成的多个训练样本对输入至神经网络模型中进行迭代训练；

生成口型驱动参数识别模型；

其中，各所述训练样本对由本发明实施例中任一实施例所述的训练样本的生成方法生成。

第三方面，本发明实施例还提供了一种口型驱动方法，其特征在于，包括：

获取待播报的非静音语音片段，并确定与所述非静音语音片段对应的内容表征向量；

将所述内容表征向量输入至预先训练的口型驱动参数识别模型中，得到与所述非静音语音片段对应的目标口型序列；其中，所述口型驱动参数识别模型由本发明实施例中任一实施例所述的口型驱动参数识别模型训练方法训练得到；

响应于非静音语音片段的播放指令，使用所述目标口型序列对虚拟人物进行连续口型驱动。

第四方面，本发明实施例还提供了一种训练样本的生成装置，包括：

捕捉模块，用于捕捉得到真实人物在讲话过程中形成的语音片段和口型驱动参数序列；

对齐模块，用于使用口型驱动参数序列对虚拟人物进行连续口型驱动，并根据驱动结果，将所述口型驱动参数序列与所述语音片段进行时间对齐；

识别模块，用于识别语音片段中的各有效语音段的起止时间，并根据起止时间，在口型驱动参数序列中分别确定与各有效语音段分别对应的口型驱动参数子序列；