[发明专利]语音识别方法、装置、电子设备和存储介质

权利要求书

1.一种语音识别方法，其特征在于，包括：

确定待识别的语音数据；

基于经训练的语音识别模型，确定所述语音数据的语音识别结果；

其中，所述语音识别模型用于将所述语音数据的语音特征与通用发音偏差特征集进行注意力交互，或，将所述语音数据的语音特征分别与所述通用发音偏差特征集和通用说话人声纹特征集进行注意力交互，得到所述语音数据的说话人特征，并基于所述语音数据的语音特征和说话人特征，对所述语音数据进行语音识别。

2.根据权利要求1所述的语音识别方法，其特征在于，所述基于经训练的语音识别模型，确定所述语音数据的语音识别结果，包括：

基于所述语音识别模型的语音特征提取层对所述语音数据的当前帧进行特征提取，以生成所述当前帧的语音特征；

基于所述语音识别模型的注意力交互层将所述当前帧的语音特征与所述通用发音偏差特征集进行注意力交互，或，将所述当前帧的语音特征分别与所述通用发音偏差特征集和通用说话人声纹特征集进行注意力交互，生成所述当前帧的说话人特征；

基于所述语音识别模型的解码层对所述语音数据的每一帧的语音特征和说话人特征进行解码，得到所述语音识别结果。

3.根据权利要求2所述的语音识别方法，其特征在于，所述说话人特征包括发音偏差特征；

所述将所述当前帧的语音特征与所述通用发音偏差特征集进行注意力交互，包括：

基于所述注意力交互层的权重计算层对所述语音特征和所述通用发音偏差特征集进行注意力权重计算，得到所述通用发音偏差特征集中每一通用发音偏差特征的注意力权重；

基于所述注意力交互层的发音偏差特征重构层，结合每一通用发音偏差特征及其注意力权重，以及所述通用发音偏差特征集中易混淆发音偏差特征的激励权重进行发音偏差特征重构，得到所述发音偏差特征。

4.根据权利要求3所述的语音识别方法，其特征在于，所述易混淆发音偏差特征是基于如下步骤确定的：

基于预设时间段内所有历史语音数据中任一正确识别分词对应的历史语音数据，确定所述任一正确识别分词的易混淆音素级发音偏差向量；

将每一正确识别分词的易混淆音素级发音偏差向量分别与每一通用发音偏差特征进行匹配，将与任一正确识别分词的易混淆音素级发音偏差向量匹配成功的通用发音偏差特征作为所述易混淆发音偏差特征。

5.根据权利要求1至4任一项所述的语音识别方法，其特征在于，所述通用发音偏差特征集是基于如下步骤确定的：

基于任一样本说话人的样本语音数据中每一语音帧的状态后验概率分布，确定所述任一样本说话人的说话人发音偏差特征；

对每一样本说话人的说话人发音偏差特征进行聚类，得到多个说话人发音偏差特征簇；

基于每个说话人发音偏差特征簇的聚类中心，构建所述通用发音偏差特征集。

6.根据权利要求5所述的语音识别方法，其特征在于，所述基于任一样本说话人的样本语音数据中每一语音帧的状态后验概率分布，确定所述任一样本说话人的说话人发音偏差特征，包括：

基于任一语音帧的状态后验概率分布，以及所述任一语音帧的样本状态概率分布，确定所述任一语音帧的状态级残差向量；

将所述任一语音帧的状态级残差向量中属于同一音素的状态对应的残差值相加，得到所述任一语音帧的音素级残差向量；

基于所述任一样本说话人的样本语音数据中所有语音帧的音素级残差向量，确定所述任一样本说话人的说话人发音偏差特征。

7.根据权利要求1至4任一项所述的语音识别方法，其特征在于，所述基于所述语音数据的语音特征和说话人特征，对所述语音数据进行语音识别，包括：

基于所述语音数据的语音特征、说话人特征和环境特征，对所述语音数据进行语音识别；

所述语音数据的环境特征是将所述语音数据的语音特征和通用环境特征集进行匹配得到的。