[发明专利]语音识别、基于语音的联合处理模型训练方法、装置

说明书

本公开提供的语音识别方法，可以根据语音识别结果为目标对象进行属性识别，后续可以基于目标对象的分类结果进行个性化服务配置，在机器人与用户的语音交流中，准确的通过语音信号来确定用户的身份，对于更人性化的人机交互有着重要的作用。同样，如果能够获取到用户的个性信息也非常重要，机器人相应就可以做出有针对性的回答或者建议。本公开提供的方法适用于任何需要进行人机语音交互的场景，可以为交互中提供更多有用的信息，使得交互更智能。本公开还提供了基于语音的联合处理模型的训练方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品，可以用于多种人机语音交互的场景，提升交互的性能。

技术领域

本发明涉及计算机领域，特别涉及一种语音识别、基于语音的联合处理模型训练方法、装置。

背景技术

随着互联网的发展，传统的人工客服虽被未被替代，但技术的进步也解放了人力，由人工客服转为了AI(Artificial Intelligence，人工智能)客服，在人机交互中，往往会根据用户的身份、年龄、性别、情绪、口音、语种中的一种或多种信息来判断交互状态并回答内容。一般可以通过视觉或者声音的信息来判断这些信息。然而由于拍摄设备、拍摄环境、拍摄参数、拍摄技术等因素的影响，导致人脸图片的图片清晰度、画面背景、人脸光照、人脸尺寸等都各不相同。此外，由于说话人脸上常常有各种遮挡，包括口罩或者墨镜等等。更多的场景中，无法安装摄像头，因此无法通过视觉信息来准确的判断出用户的身份、年龄、性别以及情绪中的一种或多种信息。对于口音和语种信息，则只能依赖于从音频中获取。而基于音频的这些语音信息识别由于采集设备或者采集环境的影响，往往不能达到比较好的效果。

发明内容

本公开实施例提供了一种语音识别、基于语音的联合处理模型训练方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品，可以用于任何需要进行人机语音交互的场景，可以为交互中提供更多有用的信息，使得交互更智能。

根据本公开的一方面，提供了一种语音识别方法，其中，包括：

获取待识别的语音信号；

对所述语音信号进行提取处理得到声学特征；

将所述声学特征输入多层神经网络得到帧级别神经网络特征；

对所述帧级别神经网络特征进行加权求和处理得到句子级特征向量；

将所述句子级特征向量输入预先训练的联合处理模型得到所述语音信号对应目标对象的分类结果，其中所述预先训练的联合处理模型用于表征语音信号的多维信息。

可选地，所述声学特征为Fbank特征，所述对所述语音信号进行提取处理得到声学特征，包括：

对所述语音信号进行分帧和加窗得到T帧语音信号，所述T帧语音信号的帧数与所述语音信号的长度相对应，T为正整数；

对所述T帧语音信号进行快速傅里叶FFT变换并计算能量谱，将所述能量谱输入梅尔Mel滤波器组得到Fbank特征。

可选地，所述对所述帧级别神经网络特征进行加权求和处理得到句子级特征向量，包括：

将所述帧级别神经网络特征通过注意力网络处理得到一组权值；

对所述帧级别神经网络特征与所述一组权值进行加权求和处理得到句子级特征向量，所述句子级特征向量为固定长度的向量，用于表征所述待识别的语音信号中所蕴含的说话人相关的个性信息，所述个性信息与所述分类结果相关。

可选地，所述多维信息包括声纹信息、性别信息、年龄信息、语种信息、情绪信息、口音信息中的至少两项，所述联合处理模型包括声纹子模型、性别子模型、年龄子模型、语种子模型、情绪子模型、口音子模型中的至少两种。