[发明专利]语音识别方法、装置、存储介质及电子设备

说明书

一种语音识别方法、装置、存储介质及电子设备，通过获取当前时间点的语音帧和当前时间点的视频帧，然后提取视频帧中的视频特征信息，其中视频特征信息用于表征当前用户对应语音帧的语音动作，并且基于语音帧和视频特性信息确定语音帧的识别结果，即结合语音帧的信息和用户对应该语音帧的语音动作来识别该语音帧，不仅提高了语音帧的识别结果的准确性，而且针对每一帧语音进行识别，提高了语音交互的相应时效性，实时识别用户语音，提高了语音交互的体验效果。

技术领域

本申请涉及语音技术领域，尤其涉及一种语音识别方法、装置、存储介质及电子设备。

背景技术

目前，对于信号处理系统来说，例如多模态语音识别系统，通常是将待处理信号完全接收后，再进行处理。例如，当待处理信号为音频信号时，对于多模态语音识别系统来说，通常是在录制完一段音频信号之后，再进行语音识别处理。这语音识别的结果不能满足实时性的要求。

因此，如何提高信号处理的实时性成为亟待解决的问题。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种语音识别方法、装置、存储介质及电子设备，实时识别用户语音，提高了语音交互的体验效果。

根据本申请的一个方面，提供了一种语音识别方法，包括：获取当前时间点的语音帧；获取所述当前时间点的视频帧；提取所述视频帧中的视频特征信息；其中所述视频特征信息用于表征当前用户对应所述语音帧的语音动作；以及基于所述语音帧和所述视频特征信息，确定所述语音帧的识别结果。

根据本申请的一个方面，提供了一种语音识别装置，包括：语音获取模块，用于获取当前时间点的语音帧；视频获取模块，用于获取所述当前时间点的视频帧；视频特征提取模块，用于提取所述视频帧中的视频特征信息；其中所述视频特征信息用于表征当前用户对应所述语音帧的语音动作；以及确定模块，用于基于所述语音帧和所述视频特征信息，确定所述语音帧的识别结果。

根据本申请的一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的语音识别方法。

根据本申请的一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一所述的语音识别方法。

本申请实施例提供的一种语音识别方法、装置、存储介质及电子设备，通过获取当前时间点的语音帧和视频帧，然后提取视频帧中的视频特征信息，并且结合视频特性信息和语音帧综合确定语音帧的识别结果，即结合语音帧的信息和用户对应该语音帧的语音动作来识别该语音帧，不仅提高了语音帧的识别结果的准确性，而且针对每一帧语音进行识别，提高了语音交互的相应时效性，实时识别用户语音，提高了语音交互的体验效果。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的语音识别方法的流程示意图。

图2是本申请一示例性实施例提供的一种确定语音帧的识别结果方法的流程示意图。

图3是本申请一示例性实施例提供的一种计算音素信息的概率方法的流程示意图。

图4是本申请另一示例性实施例提供的语音识别方法的流程示意图。

图5是本申请另一示例性实施例提供的语音识别方法的流程示意图。

图6是本申请一示例性实施例提供的语音识别装置的结构示意图。