[发明专利]检索音频和训练声学模型的方法、终端及存储介质

权利要求书

1.一种检索音频的方法，其特征在于，所述方法包括：

提取待检索的目标音频片段的目标频谱数据；

基于所述目标频谱数据，确定目标特征信息；

将所述目标特征信息分别输入训练完成的声学模型中的第一解码器和第二解码器，得到第一目标概率矩阵和第二目标概率矩阵，其中，所述第一解码器和所述第二解码器为不同类型的解码器；

根据所述第一目标概率矩阵和所述第二目标概率矩阵，确定音节序列；

确定所述音节序列分别和参考音节序列库中每个参考音节序列之间的相似度，并确定相似度最大的预设数目个目标参考音节序列，将所述目标参考音节序列对应的目标音频标识确定为检索结果，其中，所述参考音节序列库中存储有多个参考音节序列以及每个参考音节序列对应的音频标识。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标概率矩阵和所述第二目标概率矩阵，确定音节序列，包括：

根据所述第一目标概率矩阵和所述第二目标概率矩阵，确定第三目标概率矩阵，其中，所述第三目标概率矩阵由多个向量组成，对于每个向量，所述向量中的每个数值位的取值分别用于表示一个指定音节对应的分值；

对于所述第三目标概率矩阵中的每个向量，确定分值最大的目标数值位，将所述目标数值位对应的指定音节确定为所述向量对应的音节；

将多个向量分别对应的音节按照所述多个向量在所述第三目标概率矩阵中的顺序进行排序，得到音节序列。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一目标概率矩阵和所述第二目标概率矩阵，确定第三目标概率矩阵，包括：

根据所述第一目标概率矩阵、所述第二目标概率矩阵以及第一公式，确定第三目标概率矩阵；

所述第一公式为：C＝α*logA+(1-α)*logB；

其中，A为所述第一目标概率矩阵，B为所述第二目标概率矩阵，C为所述第三目标概率矩阵，α为预设数值。

4.根据权利要求1所述的方法，其特征在于，所述声学模型包括特征提取模块，

所述基于所述目标频谱数据，确定目标特征信息，包括：

对所述目标频谱数据进行降维处理，得到降维处理后的目标频谱数据；

将所述降维处理后的目标频谱数据输入训练完成的声学模型中的特征提取模块，得到目标特征信息。

5.根据权利要求4所述的方法，其特征在于，所述特征提取模块包括编码器和自注意学习子模块；

所述将所述降维处理后的目标频谱数据输入训练完成的声学模型中的特征提取模块，得到目标特征信息，包括：

将所述降维处理后的目标频谱数据输入训练完成的声学模型中的编码器，得到中间特征信息；

将所述中间特征信息输入训练完成的声学模型中的自注意学习子模块，得到目标特征信息。

6.一种训练声学模型的方法，其特征在于，所述方法包括：

获取样本音频对应的音节序列，作为所述样本音频的基准音节序列；

提取所述样本音频的样本频谱数据；

基于所述样本频谱数据，确定样本特征信息；

将所述样本特征信息和所述基准音节序列，输入所述初始声学模型中的第一解码器和第二解码器，得到第一样本概率矩阵和第二样本概率矩阵，其中，所述第一解码器和所述第二解码器为不同类型的解码器；

根据所述第一样本概率矩阵和所述第二样本概率矩阵，确定损失信息；

基于所述损失信息对所述初始声学模型进行调参；

若满足预设的训练结束条件，则将调参后的初始声学模型确定为训练完成的声学模型；

若不满足预设的训练结束条件，则继续基于其他样本音频对调参后的初始声学模型进行调参。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一样本概率矩阵和所述第二样本概率矩阵，确定损失信息，包括：

根据所述第一样本概率矩阵和所述第二样本概率矩阵，确定第三样本概率矩阵；

确定所述第三样本概率矩阵中所有数值的平均值，作为损失信息。