[发明专利]一种可支持自定唤醒词的关键词检测方法

权利要求书

1.可支持自定唤醒词的关键词检测方法，其特征在于，包括下列步骤：

步骤1：预训练处理：

设置预训练处理的训练语料，所述训练语料包括：词的样本和噪声语料的样本；

对训练预料的每个样本进行预处理，得到每个样本的特征矩阵；

构建基于神经网络的语音关键词检测网络模型，所述语音关键词检测网络模型包括依次连接的输入层、隐藏层和分类层；

其中，隐藏层包括依次连接的卷积块Conv1、残差块1~残差块N_Res、卷积块Conv2、展平层和平均池化层；其中，N_Res表示包含的残差块数量；

每个残差块包括依次连接的卷积块R_Conv1和卷积块R_Conv2，将卷积块R_Conv1的输入与卷积块R_Conv2的输出相加得到每个残差块的输出；

每个卷积块包括：卷积层、非线性层ReLU和批归一化层；

展平层用于将同一通道的特征图转换为一个一维向量；

分类层用于输出输入的特征矩阵为指定类别的预测概率，分类层包括依次连接的全连接层和Softmax层，通过Softmax层输出每个指定类别的预测概率；

以训练预料的每个样本的特征矩阵为语音关键词检测网络模型的输入层的输入数据，对语音关键词检测网络模型进行分类训练，得到预训练好的语音关键词检测网络模型；

步骤2：微调训练处理：

移除预训练好的语音关键词检测网络模型的分类层，作为支持自定唤醒词的关键词检测模型；

用户对其自定义唤醒词进行样本注册，且注册时，对同一自定义唤醒词重复录制Q次；

对用户注册的自定义唤醒词样本进行数据增强处理，将增强处理前后的自定义唤醒词样本一并作为微调训练处理的微调训练样本；

对微调训练样本进行预处理，得到微调训练样本的特征矩阵；

基于微调训练样本的特征矩阵，采用端对端的损失函数对支持自定唤醒词的关键词检测模型的指定网络层进行增量训练，并将训练好的支持自定唤醒词的关键词检测模型作为支持自定唤醒词的关键词检测器；

进行增量训练时，对支持自定唤醒词的关键词检测模型的最后f层的权重进行微调，且所述端对端的损失函数具体为：

其中，L_G表示每个训练批的端对端的损失函数；

L(e_ji)表示当前训练批中每个微调训练样本的损失函数；

e_ji、e_ki分别表示当前训练批中第j个自定义唤醒词和第k个自定义唤醒词的第i个微调训练样本在支持自定唤醒词的关键词检测器中的前向计算的输出向量，1≤i≤m，1≤j≤n，1≤k≤n且k≠j；

S_ji,k表示每个训练批中e_ji与c_k的似然矩阵，S_ji,j表示每个训练批中e_ji与c_j的似然矩阵；

c_k、c_j分别表示当前训练批中第k个、第j个自定义唤醒词的中心向量；

n表示每个训练批包含的自定义唤醒词的数目，且2≤n≤P，P表示用户注册的自定义唤醒词数量；

m表示每个自定义唤醒词包含的微调训练样本数，且m≥2；

w₁和w₂表示两个不同取值的线性因子；

cos(·)表示余弦相似度；

步骤3：检测处理：

将增强处理前的自定义唤醒词样本的特征矩阵输入支持自定唤醒词的关键词检测器进行前向计算，并将同一自定义唤醒词的Q个前向计算的输出结果的均值作为每个自定唤醒词的模板；

对待检测语音进行预处理，得到待检测的特征矩阵，并将待检测的特征矩阵输入支持自定唤醒词的关键词检测器进行前向计算，得到待检测的输出结果；

计算待检测的输出结果与每个自定唤醒词的模板之间的相似度，若最大相似度大于或等于相似度阈值，则基于最大相似度对应的自定唤醒词得到待检测语音的关键词检测结果。

2.如权利要求1所述的关键词检测方法，其特征在于，步骤1中，将分类层对应的指定类别设置为：K个唤醒词类、N-K个非唤醒词类和1个静音类；其中，K表示从训练语料包括的所有词中指定的唤醒词数量，N表示训练语料包括的词数量。