[发明专利]语音唤醒混合模型的训练方法、使用方法和相关设备

说明书

本申请提供了一种语音唤醒混合模型的训练方法、使用方法和相关设备，模型训练时，通过语音分离网络、特征变换网络和唤醒词检测网络混合学习训练得到语音唤醒混合模型。模型在使用时，将待识别音频输入语音唤醒混合模型内，直接得到唤醒概率。在唤醒概率大于阈值时，判定从待识别音频中识别到唤醒词。本申请在模型训练过程中，通过语音分离网络得到的第一损失函数、唤醒词检测网络得到的第二损失函数加权得到综合损失函数，并据此反向传播，学习得到语音分离网络、特征变换网络和唤醒词检测网络各自的权值参数。同时，本申请将上述各个网络统一到一个框架中，用联合优化的方法，使模型能同时学习到最优的分离和唤醒网络参数，有效提高唤醒率。

技术领域

本申请涉及语音唤醒技术领域，特别涉及一种语音唤醒混合模型的训练方法、使用方法和相关设备。

背景技术

现有的语音唤醒技术中，有基于传统GMM-HMM（高斯混合模型-隐马尔可夫模型）的方法，利用单音素或者三音素作为HMM（隐马尔可夫模型）隐藏状态，在得到声音序列信号后，通过解码得到最优的状态序列，来判断语音信号中是否有目标关键词，该方法实现复杂，同时需要样本有详细标注信息，数据获取成本高，且效果并不理想，对集外词拒识差；另外一些基于DNN（深度神经网络）的端到端方法，实现流程较简单，效果比传统方法好，但是模型一般比较大，无法在端侧设备上部署，而模型较小时，对不完整的唤醒词误唤醒率较高，在噪声环境下的唤醒率低。

发明内容

本申请的主要目的为提供一种语音唤醒混合模型的训练方法、使用方法和相关设备，旨在解决现有语音唤醒技术的复杂度较高、唤醒率低的弊端。

为实现上述目的，本申请提供了一种语音唤醒混合模型的训练方法，包括：

获取预处理样本集，所述预处理样本集包含多个干净唤醒样本和带噪样本；

将各所述干净唤醒样本和各所述带噪样本的log功率谱特征输入语音分离网络，得到第一损失函数和分离输出；

使用特征变换网络对所述分离输出进行特征提取，得到声学特征；

将所述声学特征和所述干净唤醒样本的帧标签输入唤醒词检测网络，得到第二损失函数；

根据所述第一损失函数和第二损失函数计算得到综合损失函数；

使用所述综合损失函数进行反向传播，分别训练得到所述语音分离网络、所述特征变换网络和所述唤醒词检测网络的权值参数，以完成所述语音唤醒混合模型的训练。

进一步的，所述获取预处理样本集的步骤，包括：

获取干净唤醒样本集，所述干净唤醒样本集包含多个所述干净唤醒样本；

对各所述干净唤醒样本进行随机信噪比加噪和/或加混响，得到多个带噪样本；

综合所述干净唤醒样本和所述带噪样本，得到所述预处理样本集。

进一步的，所述将各所述干净唤醒样本和各所述带噪样本的log功率谱特征输入语音分离网络，得到第一损失函数和分离输出的步骤，包括：

对各所述干净唤醒样本和各所述带噪样本分别进行短时傅里叶变换，得到各所述干净唤醒样本的干净log功率谱和各所述带噪样本的带噪log功率谱；

将各所述干净log功率谱和各所述带噪log功率谱输入所述语音分离网络，得到所述第一损失函数和所述分离输出。

进一步的，所述干净唤醒样本包含唤醒词，所述将所述声学特征和所述干净唤醒样本的帧标签输入唤醒词检测网络，得到第二损失函数的步骤，包括：

使用VAD和GMM-HMM将所述干净唤醒样本中的语音帧和对应的标签进行对齐；