[发明专利]一种语音识别方法、装置、设备及存储介质

权利要求书

1.一种语音识别方法，其特征在于，包括：

当发声事件被触发时，接收麦克风发送的用户在执行所述发声事件过程中采集的语音信号和包含唇部的图像信号；

对所述语音信号进行特征提取生成语音特征信号，以及对所述包含唇部的图像信号进行特征提取生成唇语特征信号；

将所述语音特征信号和所述唇语特征信号发送给服务端，以指示所述服务端将所述语音特征信号与预设语音信号进行匹配分析生成语音识别结果以及将所述唇语特征信号与预设唇语信号进行匹配分析生成唇语识别结果，如果所述语音识别结果与所述唇语识别结果的相似度大于等于相似度阈值，则根据所述语音识别结果生成识别反馈结果并将所述识别反馈结果发送给终端。

2.根据权利要求1所述的方法，其特征在于，所述对所述语音信号进行特征提取生成语音特征信号，包括：

对所述语音信号进行语音特征参数提取得到语音特征参数；

对所述语音特征参数进行降维变换得到待处理语音特征信号；

根据语音增强算法对所述待处理语音特征信号进行增强处理得到所述语音特征信号，所述语音增强算法包括倒频谱均值减法算法；

所述对所述包含唇部的图像信号进行特征提取生成唇语特征信号，包括：

根据唇部特征提取算法对所述包含唇部的图像信号进行特征提取得到唇部图像信号，所述唇部特征提取算法包括基于模板的特征提取算法或基于图像像素的特征提取算法中的至少一种；

根据口型轮廓特征提取算法对所述唇部图像信号进行口型轮廓特征提取得到所述唇语特征信号，所述口型轮廓特征提取算法包括变形模板算法或Snakes算法中的至少一种。

3.一种语音识别方法，其特征在于，包括：

接收终端发送的语音特征信号和唇语特征信号；

对所述语音特征信号与预设语音信号进行匹配分析生成语音识别结果；

对所述唇语特征信号与预设唇语信号进行匹配分析生成唇语识别结果；

如果所述语音识别结果与所述唇语识别结果的相似度大于等于相似度阈值，则根据所述语音识别结果生成识别反馈结果，并将所述识别反馈结果发送给终端，以指示所述终端根据所述识别反馈结果生成发声事件的评价结果。

4.根据权利要求3所述的方法，其特征在于，所述接收终端发送的语音特征信号和唇语特征信号之前，还包括：

建立预先训练的语音识别模型和唇语识别模型；

相应的，所述对所述语音特征信号与预设语音信号进行匹配分析生成语音识别结果，包括：

根据所述语音特征信号调用所述预先训练的语音识别模型中的预设语音信号进行匹配分析，生成所述语音识别结果；

所述对所述唇语特征信号与预设唇语信号进行匹配分析生成唇语识别结果，包括：

根据所述唇语特征信号调用所述预先训练的唇语识别模型中的预设唇语信号进行匹配分析，生成所述唇语识别结果。

5.根据权利要求4所述的方法，其特征在于，所述建立预先训练的唇语识别模型，包括：

在标准数据库中，获取用户在执行发声事件过程中生成的设定数量组的训练数据，所述训练数据包括包含唇部的图像信号和对应的文字信号；

对所述包含唇部的图像信号进行特征提取生成第一唇语特征信号，以所述第一唇语特征信号为输入变量，以对应的所述文字信号为输出变量，采用所述第一唇语特征信号和对应的所述文字信号根据机器学习算法对预设的数学模型进行训练生成预先训练的唇语识别模型。

6.根据权利要求3-5任一所述的方法，其特征在于，还包括：

如果所述语音识别结果与所述唇语识别结果的相似度小于所述相似度阈值，则获取当前语境信息；

根据所述当前语境信息对所述语音识别结果和所述唇语识别结果进行调整，直至调整后的语音识别结果和唇语识别结果的相似度大于等于所述相似度阈值。