[发明专利]语音识别、基于语音的联合处理模型训练方法、装置

权利要求书

1.一种语音识别方法，其中，包括：

获取待识别的语音信号；

对所述语音信号进行提取处理得到声学特征；

将所述声学特征输入多层神经网络得到帧级别神经网络特征；

对所述帧级别神经网络特征进行加权求和处理得到句子级特征向量；

将所述句子级特征向量输入预先训练的联合处理模型得到所述语音信号对应目标对象的分类结果，其中所述预先训练的联合处理模型用于表征语音信号的多维信息。

2.根据权利要求1所述的语音识别方法，其中，所述声学特征为Fbank特征，所述对所述语音信号进行提取处理得到声学特征，包括：

对所述语音信号进行分帧和加窗得到T帧语音信号，所述T帧语音信号的帧数与所述语音信号的长度相对应，T为正整数；

对所述T帧语音信号进行快速傅里叶FFT变换并计算能量谱，将所述能量谱输入梅尔Mel滤波器组得到Fbank特征。

3.根据权利要求1或2所述的语音识别方法，其中，所述对所述帧级别神经网络特征进行加权求和处理得到句子级特征向量，包括：

将所述帧级别神经网络特征通过注意力网络处理得到一组权值；

对所述帧级别神经网络特征与所述一组权值进行加权求和处理得到句子级特征向量，所述句子级特征向量为固定长度的向量，用于表征所述待识别的语音信号中所蕴含的说话人相关的个性信息，所述个性信息与所述分类结果相关。

4.根据权利要求1或2所述的语音识别方法，其中，所述多维信息包括声纹信息、性别信息、年龄信息、语种信息、情绪信息、口音信息中的至少两项，所述联合处理模型包括声纹子模型、性别子模型、年龄子模型、语种子模型、情绪子模型、口音子模型中的至少两种。

5.根据权利要求4所述的语音识别方法，其中，所述联合处理模型包括声纹子模型、年龄子模型、性别子模型，所述将所述句子级特征向量输入预先训练的联合处理模型得到所述语音信号对应目标对象的分类结果，包括：

将所述句子级特征向量输入所述声纹子模型得到声纹特征；

将所述句子级特征向量输入所述年龄子模型得到年龄预测值；

将所述句子级特征向量输入所述性别子模型得到性别预测值；

将所述声纹特征、所述年龄预测值以及所述性别预测值作为分类结果输出。

6.根据权利要求1所述的语音识别方法，其中，还包括：

将所述分类结果与所述目标对象建立一一对应关系，将所述对应关系存入声纹库。

7.一种基于语音的联合处理模型训练方法，其中，包括：

利用预先标注的训练集输入所述联合处理模型，其中所述联合处理模型包括至少两个多维子模型；

获取每个所述多维子模型确定对应的损失值；

利用所有所述多维子模型对应的损失值确定总损失值；

利用所述总损失值对所述联合处理模型的参数进行更新，直至所述联合处理模型收敛为止。

8.根据权利要求7所述的基于语音的联合处理模型训练方法，其中，所述至少两个多维子模型包括声纹子模型、年龄子模型、性别子模型，所述获取每个所述多维子模型确定对应的损失值包括：

利用所述声纹子模型得到第一损失值，利用所述年龄子模型得到第二损失值，利用所述性别子模型得到第三损失值；

所述利用所有所述多维子模型对应的损失值确定总损失值，包括。

利用所述第一损失值、所述第二损失值以及所述第三损失值确定总损失值。

9.根据权利要求8所述的基于语音的联合处理模型训练方法，其中，所述利用预先标注的训练集输入所述联合处理模型之前，还包括：

选取S个不同的说话人，每个说话人对应C条不同的语音信号，为每条语音信号标注上对应的唯一说话人标志、性别和年龄，将得到的N＝S*C条语音信号作为预先标注的训练集。