[发明专利]模型联合训练方法、装置、计算机设备和存储介质

权利要求书

1.一种模型联合训练方法，其特征在于，包括以下步骤：

构建音频训练数据的第一声学特征矩阵；

将所述第一声学特征矩阵输入至编码网络得到第一高维特征矩阵；

将所述第一高维特征矩阵输入至解码网络得到第二声学特征矩阵；

将所述第二声学特征矩阵输入至所述编码网络得到第二高维特征矩阵；

将所述第一高维特征矩阵以及第二高维特征矩阵分别输入至分类网络中，并基于反向传播算法，调整所述编码网络、解码网络以及分类网络的网络参数，得到训练完成的唤醒模型以及降噪模型；其中，所述编码网络与所述分类网络构成唤醒模型，所述编码网络与所述解码网络构成降噪模型。

2.根据权利要求1所述的模型联合训练方法，其特征在于，所述分类网络包括全连接层以及softmax函数，所使用的损失函数是交叉熵损失函数。

3.根据权利要求2所述的模型联合训练方法，其特征在于，所述将所述第一高维特征矩阵以及第二高维特征矩阵分别输入至分类网络中，并基于反向传播算法，调整所述编码网络、解码网络以及分类网络的网络参数，得到训练完成的唤醒模型以及降噪模型的步骤，包括：

将所述第一高维特征矩阵以及第二高维特征矩阵输入至所述全连接层计算之后，基于所述损失函数计算交叉熵损失值；

使用梯度下降的反向传播算法，调整所述编码网络、解码网络以及分类网络的网络参数，以最小化所述交叉熵损失值；

当迭代训练之后，所述交叉熵损失值不再下降时，模型收敛得到训练完成的所述的唤醒模型以及降噪模型。

4.根据权利要求1所述的模型联合训练方法，其特征在于，所述音频训练数据包括正样本音频以及负样本音频；

所述构建音频训练数据的第一声学特征矩阵的步骤之前，包括：

获取噪声语音，作为所述负样本音频；

获取纯净唤醒语音；其中，所述纯净唤醒语音为不带噪声且携带有唤醒词的纯净语音；

按照预设的信噪比，将所述纯净唤醒语音与所述噪声语音进行混合，得到带噪的唤醒语音，作为所述正样本音频。

5.一种模型联合训练装置，其特征在于，包括：

构建单元，用于构建音频训练数据的第一声学特征矩阵；

第一编码单元，用于将所述第一声学特征矩阵输入至编码网络得到第一高维特征矩阵；

解码单元，用于将所述第一高维特征矩阵输入至解码网络得到第二声学特征矩阵；

第二编码单元，用于将所述第二声学特征矩阵输入至所述编码网络得到第二高维特征矩阵；

训练单元，用于将所述第一高维特征矩阵以及第二高维特征矩阵分别输入至分类网络中，并基于反向传播算法，调整所述编码网络、解码网络以及分类网络的网络参数，得到训练完成的唤醒模型以及降噪模型；其中，所述编码网络与所述分类网络构成唤醒模型，所述编码网络与所述解码网络构成降噪模型。

6.根据权利要求5所述的模型联合训练装置，其特征在于，所述分类网络包括全连接层以及softmax函数，所使用的损失函数是交叉熵损失函数。

7.根据权利要求6所述的模型联合训练装置，其特征在于，所述训练单元，具体用于：

将所述第一高维特征矩阵以及第二高维特征矩阵输入至所述全连接层计算之后，基于所述损失函数计算交叉熵损失值；

使用梯度下降的反向传播算法，调整所述编码网络、解码网络以及分类网络的网络参数，以最小化所述交叉熵损失值；

当迭代训练之后，所述交叉熵损失值不再下降时，模型收敛得到训练完成的所述的唤醒模型以及降噪模型。

8.根据权利要求5所述的模型联合训练装置，其特征在于，所述音频训练数据包括正样本音频以及负样本音频；所述装置还包括：

第一获取单元，用于获取噪声语音，作为所述负样本音频；

第二获取单元，用于获取纯净唤醒语音；其中，所述纯净唤醒语音为不带噪声且携带有唤醒词的纯净语音；

混合单元，用于按照预设的信噪比，将所述纯净唤醒语音与所述噪声语音进行混合，得到带噪的唤醒语音，作为所述正样本音频。