[发明专利]一种语音识别方法、装置、设备及存储介质

说明书

本发明公开了一种语音识别方法、装置、设备及存储介质。该方法包括：当发声事件被触发时，接收麦克风发送的用户在执行发声事件过程中采集的语音信号和包含唇部的图像信号；对语音信号进行特征提取生成语音特征信号，以及对包含唇部的图像信号进行特征提取生成唇语特征信号；将语音特征信号和唇语特征信号发送给服务端，以指示服务端将语音特征信号与预设语音信号进行匹配分析生成语音识别结果以及将唇语特征信号与预设唇语信号进行匹配分析生成唇语识别结果，如果语音识别结果与唇语识别结果的相似度大于等于相似度阈值，则根据语音识别结果生成识别反馈结果并将所述识别反馈结果发送给终端。本发明实施例实现了提高语音识别率。

技术领域

本发明实施例涉及语音识别技术，尤其涉及一种语音识别方法、装置、设备及存储介质。

背景技术

随着电子信息化时代的到来，移动设备越来越普及，移动终端以及移动终端的外接设备，如儿童平板电脑和麦克风等。此外，上述设备可实现的功能也越来越丰富，如可以将麦克风连接至移动终端，根据移动终端中显示的内容进行语言学习或歌曲演唱，在这个过程中，需要麦克风实时录入用户的声音，再将该声音上传至移动终端，在移动终端中进行相应的语音识别，进而得出语音识别结果，再根据语音识别结果给出语言学习或歌曲演唱的评价结果。

在上述过程中最为关键的是，语音识别结果的准确性，而单纯依靠语音识别技术可能无法进一步提高语音识别率。

发明内容

本发明提供一种语音识别方法、装置、设备及存储介质，以实现提高语音识别率。

第一方面，本发明实施例提供了一种语音识别方法，该方法包括：

当发声事件被触发时，接收麦克风发送的用户在执行所述发声事件过程中采集的语音信号和包含唇部的图像信号；

对所述语音信号进行特征提取生成语音特征信号，以及对所述包含唇部的图像信号进行特征提取生成唇语特征信号；

将所述语音特征信号和所述唇语特征信号发送给服务端，以指示所述服务器将所述语音特征信号与预设语音信号进行匹配分析生成语音识别结果以及将所述唇语特征信号与预设唇语信号进行匹配分析生成唇语识别结果，如果所述语音识别结果与所述唇语识别结果的相似度大于等于相似度阈值，则根据所述语音识别结果生成识别反馈结果并将所述识别反馈结果发送给终端。

进一步的，所述对所述语音信号进行特征提取生成语音特征信号，包括：

对所述语音信号进行语音特征参数提取得到语音特征参数；

对所述语音特征参数进行降维变换得到待处理语音特征信号；

根据语音增强算法对所述待处理语音特征信号进行增强处理得到所述语音特征信号，所述语音增强算法包括倒频谱均值减法算法；

所述对所述包含唇部的图像信号进行特征提取生成唇语特征信号，包括：

根据唇部特征提取算法对所述包含唇部的图像信号进行特征提取得到唇部图像信号，所述唇部特征提取算法包括基于模板的特征提取算法或基于图像像素的特征提取算法中的至少一种；

根据口型轮廓特征提取算法对所述唇部图像信号进行口型轮廓特征提取得到所述唇语特征信号，所述口型轮廓特征提取算法包括变形模板算法或Snakes算法中的至少一种。

第二方面，本发明实施例还提供了一种语音识别方法，该方法包括：

接收终端发送的语音特征信号和唇语特征信号；

对所述语音特征信号与预设语音信号进行匹配分析生成语音识别结果；

对所述唇语特征信号与预设唇语信号进行匹配分析生成唇语识别结果；