[发明专利]语音唤醒混合模型的训练方法、使用方法和相关设备

权利要求书

1.一种语音唤醒混合模型的训练方法，其特征在于，包括：

获取预处理样本集，所述预处理样本集包含多个干净唤醒样本和带噪样本；

将各所述干净唤醒样本和各所述带噪样本的log功率谱特征输入语音分离网络，得到第一损失函数和分离输出；

使用特征变换网络对所述分离输出进行特征提取，得到声学特征；

将所述声学特征和所述干净唤醒样本的帧标签输入唤醒词检测网络，得到第二损失函数；

根据所述第一损失函数和第二损失函数计算得到综合损失函数；

使用所述综合损失函数进行反向传播，分别训练得到所述语音分离网络、所述特征变换网络和所述唤醒词检测网络的权值参数，以完成所述语音唤醒混合模型的训练。

2.根据权利要求1所述的语音唤醒混合模型的训练方法，其特征在于，所述获取预处理样本集的步骤，包括：

获取干净唤醒样本集，所述干净唤醒样本集包含多个所述干净唤醒样本；

对各所述干净唤醒样本进行随机信噪比加噪和/或加混响，得到多个带噪样本；

综合所述干净唤醒样本和所述带噪样本，得到所述预处理样本集。

3.根据权利要求2所述的语音唤醒混合模型的训练方法，其特征在于，所述将各所述干净唤醒样本和各所述带噪样本的log功率谱特征输入语音分离网络，得到第一损失函数和分离输出的步骤，包括：

对各所述干净唤醒样本和各所述带噪样本分别进行短时傅里叶变换，得到各所述干净唤醒样本的干净log功率谱和各所述带噪样本的带噪log功率谱；

将各所述干净log功率谱和各所述带噪log功率谱输入所述语音分离网络，得到所述第一损失函数和所述分离输出。

4.根据权利要求1所述的语音唤醒混合模型的训练方法，其特征在于，所述干净唤醒样本包含唤醒词，所述将所述声学特征和所述干净唤醒样本的帧标签输入唤醒词检测网络，得到第二损失函数的步骤，包括：

使用VAD和GMM-HMM将所述干净唤醒样本中的语音帧和对应的标签进行对齐；

在对齐后的所述干净唤醒样本中，将所述唤醒词结束后的预设帧的标签设置为1，其余帧的标签设置为0，得到所述干净唤醒样本的帧标签；

将所述声学特征和所述帧标签输入唤醒词检测网络，计算得到第二损失函数。

5.根据权利要求1所述的语音唤醒混合模型的训练方法，其特征在于，所述根据所述第一损失函数和第二损失函数计算得到综合损失函数的步骤，包括：

将所述第一损失函数和所述第二损失函数代入预设公式中，加权计算得到所述综合损失函数，其中，所述预设公式为：,S₁为所述第一损失函数，S₂为所述第二损失函数，S₃为所述综合损失函数，Z₁为第一权重，Z₂为第二权重。

6.一种语音唤醒混合模型的使用方法，其特征在于，所述语音唤醒混合模型为所述权利要求1至5中任一所述的训练方法得到的语音唤醒混合模型，所述使用方法包括：

获取待识别音频；

将所述待识别音频输入所述语音唤醒混合模型内，得到唤醒概率；

判断所述唤醒概率是否大于阈值；

若所述唤醒概率大于阈值，则判定从所述待识别音频中识别到唤醒词。

7.根据权利要求6所述的语音唤醒混合模型的使用方法，其特征在于，所述判定从所述待识别音频中识别到唤醒词的步骤之后，包括：

输出唤醒信息，并根据所述唤醒信息执行对应的动作。