[发明专利]样本生成、模型训练、口型驱动方法、装置、设备及介质

权利要求书

1.一种训练样本的生成方法，其特征在于，包括：

捕捉得到真实人物在讲话过程中形成的语音片段和口型驱动参数序列；

使用口型驱动参数序列对虚拟人物进行连续口型驱动，并根据驱动结果，将所述口型驱动参数序列与所述语音片段进行时间对齐；

识别语音片段中的各有效语音段的起止时间，并根据起止时间，在口型驱动参数序列中分别确定与各有效语音段分别对应的口型驱动参数子序列；

根据与有效语音段对应的内容表征向量，以及与有效语音段对应的口型驱动参数子序列，形成用于训练得到口型驱动参数识别模型的训练样本对。

2.根据权利要求1所述的方法，其特征在于，所述捕捉得到真实人物在讲话过程中形成的语音片段和口型驱动参数序列，包括：

通过语音采集设备捕捉得到真实人物在讲话过程中形成的所述语音片段；

以及通过视频采集设备捕捉得到真实人物在讲话过程中形成的口型驱动参数序列。

3.根据权利要求1所述的方法，其特征在于，在识别语音片段中的各有效语音段的起止时间之前，还包括：

对所述语音片段进行语义理解，根据语义理解结果对所述语音片段进行分段；

剔除不包含语义信息的各无效语音片段，得到各所述有效语音段。

4.根据权利要求3所述的方法，其特征在于，所述识别语音片段中的各有效语音段的起止时间，并根据起止时间，在口型驱动参数序列中分别确定与各有效语音段分别对应的口型驱动参数子序列，包括：

根据目标有效语音段的属性信息确定所述目标有效语音段的目标起止时间；

在口型驱动参数序列中确定与所述目标起止时间对应的目标口型驱动参数子序列。

5.根据权利要求1所述的方法，其特征在于，在口型驱动参数序列中分别确定与各有效语音段分别对应的口型驱动参数子序列，还包括：

提取所述有效语音段的梅尔频率倒谱系数MFCC，生成与所述有效语音段对应的内容表征向量；

根据所述内容表征向量对所述口型驱动参数序列进行重采样，并根据重采样后的口型驱动参数序列确定与有效语音段对应的口型驱动参数子序列。

6.根据权利要求5所述的方法，其特征在于，所述根据与有效语音段对应的内容表征向量，以及与有效语音段对应的口型驱动参数子序列，形成用于训练得到口型驱动参数识别模型的训练样本对，包括：

将与所述有效语音段对应的内容表征向量，以及与所述有效语音段对应的口型驱动参数子序列进行配对，形成用于训练得到口型驱动参数识别模型的训练样本对。

7.一种口型驱动参数识别模型训练方法，其特征在于，包括：

将预先生成的多个训练样本对输入至神经网络模型中进行迭代训练；

生成口型驱动参数识别模型；

其中，各所述训练样本对由权利要求1-6中任一项所述的训练样本的生成方法生成。

8.一种口型驱动方法，其特征在于，包括：

获取待播报的非静音语音片段，并确定与所述非静音语音片段对应的内容表征向量；

将所述内容表征向量输入至预先训练的口型驱动参数识别模型中，得到与所述非静音语音片段对应的目标口型序列；其中，所述口型驱动参数识别模型由权利要求7所述的口型驱动参数识别模型训练方法训练得到；

响应于非静音语音片段的播放指令，使用所述目标口型序列对虚拟人物进行连续口型驱动。