[发明专利]视频语音识别方法、装置、设备和存储介质

权利要求书

1.一种视频语音识别方法，其特征在于，包括：

对视频进行处理，获取多个音频子片段，以及与每个所述音频子片段对应的图像帧序列；

对所述图像帧序列进行文本识别，获取多个文本结果，并对所述多个文本结果进行处理，获取多个关键词；

通过语音识别模型对每个所述音频子片段进行处理，获取多个候选语音识别结果；

根据所述多个候选语音识别结果和所述多个关键词确定每个所述音频子片段的目标文本识别结果，根据每个所述音频子片段的目标文本识别结果，获取所述视频的语音识别结果。

2.如权利要求1所述的方法，其特征在于，所述对视频进行处理，获取多个音频子片段，以及与每个所述音频子片段对应的图像帧序列，包括：

对视频进行处理，获取音频数据和图像数据；

对所述音频数据进行静音检测，获取多个音频子片段；

从所述图像数据中获取与每个所述音频子片段对应的图像帧序列。

3.如权利要求2所述的方法，其特征在于，所述从所述图像数据中获取与每个所述音频子片段对应的图像帧序列，包括：

获取每个所述音频子片段对应的开始时间和结束时间；

根据所述开始时间和图像采样频率的比值确定开始帧图像，并根据所述结束时间与所述图像采样频率的比值确定结束帧图像；

根据所述开始帧图像和所述结束帧图像从所述图像数据中确定区间帧图像，并按照预设频率对所述区间帧图像中进行图像抽取，获取每个所述音频子片段对应的图像帧序列。

4.如权利要求1所述的方法，其特征在于，所述对所述图像帧序列进行文本识别，获取多个文本结果，包括：

对所述图像帧系列中的每一帧图像进行光学字符识别，获取所述多个文本结果。

5.如权利要求1所述的方法，其特征在于，所述对所述多个文本结果进行处理，获取多个关键词，包括：

对每一条所述文本结果进行分词处理，获取多个分词；

对所述多个分词进行过滤，获取所述多个关键词。

6.如权利要求1所述的方法，其特征在于，所述根据所述多个候选语音识别结果和所述多个关键词确定所述每个音频子片段的目标文本识别结果，包括：

获取每个候选语音识别文本的识别概率；

获取所述每个候选语音识别文本的统计概率和第一系数；

获取所述每个候选语音识别文本对应的所述多个关键词的贡献概率和第二系数；

根据所述每个候选语音识别文本的所述识别概率、所述统计概率、所述第一系数、所述贡献概率和所述第二系数进行计算，获取所述每个候选语音识别文本的正确率；

根据所述每个候选语音识别文本的正确率从所述多个候选语音识别结果中确定所述每个音频子片段的目标文本识别结果。

7.一种视频语音识别装置，其特征在于，包括：

第一获取模块，用于对视频进行处理，获取多个音频子片段，以及与每个所述音频子片段对应的图像帧序列；

识别模块，用于对所述图像帧序列进行文本识别，获取多个文本结果；

第二获取模块，用于对所述多个文本结果进行处理，获取多个关键词；

处理模块，用于通过语音识别模型对每个所述音频子片段进行处理，获取多个候选语音识别结果；

确定模块，用于根据所述多个候选语音识别结果和所述多个关键词确定每个所述音频子片段的目标文本识别结果；

第三获取模块，用于根据每个所述音频子片段的目标文本识别结果，获取所述视频的语音识别结果。

8.如权利要求7所述的装置，其特征在于，所述第一获取模块，包括：

处理单元，用于对视频进行处理，获取音频数据和图像数据；

检测单元，用于对所述音频数据进行静音检测，获取多个音频子片段；

获取单元，用于从所述图像数据中获取与每个所述音频子片段对应的图像帧序列。