[发明专利]语音识别方法、装置、存储介质及电子设备

权利要求书

1.一种语音识别方法，包括：

获取当前时间点的语音帧；

获取所述当前时间点的视频帧；

提取所述视频帧中的视频特征信息；其中所述视频特征信息用于表征当前用户对应所述语音帧的语音动作；以及

基于所述语音帧和所述视频特征信息，确定所述语音帧的识别结果。

2.根据权利要求1所述的识别方法，其中，所述基于所述语音帧和所述视频特征信息，确定所述语音帧的识别结果包括：

将所述语音帧解析为至少一个音素信息；

基于所述至少一个音素信息和所述视频特征信息，得到每个音素信息的概率；

根据所述每个音素信息的概率，计算得到多个语音结果的概率；其中所述多个语音结果由所述至少一个音素信息中的部分或全部音素信息组合得到；以及

当所述多个语音结果中存在一个语音结果的概率满足预设条件时，将该语音结果作为识别结果。

3.根据权利要求2所述的识别方法，其中，基于所述至少一个音素信息和所述视频特征信息，得到每个音素信息的概率包括：

确定所述至少一个音素信息中的单个音素信息与对应的标准音素语音之间的第一相似度，得到多个第一相似度；

确定所述视频特征信息与每个音素的标准视频特性信息之间的第二相似度，得到多个第二相似度；以及

将每个音素的所述第一相似度和所述第二相似度加权，得到所述每个音素信息的概率。

4.根据权利要求2所述的识别方法，其中，所述预设条件包括：该语音结果的概率大于预设的概率阈值；和/或该语音结果的概率为所述多个语音结果的概率中的最大值。

5.根据权利要求1至4中任一项所述的识别方法，其中，所述基于所述语音帧和所述视频特征信息，确定所述语音帧的识别结果包括：

将所述语音帧和所述视频特征信息输入第一神经网络模型，得到所述语音帧的识别结果。

6.根据权利要求1所述的识别方法，其中，在所述获取当前时间点的语音帧之前，还包括：

判断所述当前用户是否进行语音动作；

当判断结果为所述当前用户正在进行语音动作时，获取所述当前时间点的语音帧。

7.根据权利要求1所述的识别方法，其中，所述提取所述视频帧中的视频特征信息包括：

将所述视频帧输入第二神经网络模型，得到所述视频特征信息；或者

通过SIFT算法、SURF算法和ORB算法中的至少一种得到所述视频特征信息。

8.根据权利要求1所述的识别方法，其中，所述视频特征信息包括所述当前用户的唇部区域视频信息。

9.根据权利要求1所述的识别方法，其中，在所述获取当前时间点的语音帧之后，还包括：

对所述语音帧进行预处理，得到预处理后的语音帧。

10.根据权利要求9所述的识别方法，其中，所述预处理包括：

对所述语音帧进行短时傅里叶变换，得到频谱特征信息。

11.根据权利要求10所述的识别方法，其中，在所述得到频谱特征信息之后，还包括：

提取频谱特征信息中的MFCC特征和/或FBank特征。

12.一种语音识别装置，包括：

语音获取模块，用于获取当前时间点的语音帧；

视频获取模块，用于获取所述当前时间点的视频帧；

视频特征提取模块，用于提取所述视频帧中的视频特征信息；其中所述视频特征信息用于表征当前用户对应所述语音帧的语音动作；以及

确定模块，用于基于所述语音帧和所述视频特征信息，确定所述语音帧的识别结果。

13.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-11任一所述的语音识别方法。

14.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1-11任一所述的语音识别方法。