[发明专利]语音识别方法和装置

权利要求书

1.一种语音识别方法，其特征在于，包括：

获取待识别的语音数据、及与所述语音数据对应的图像数据；

通过声学模型包括的声学特征提取子网络，提取所述语音数据的声学特征；以及，通过所述声学模型包括的视觉特征提取子网络，从所述图像数据中提取与所述语音数据对应的视觉特征；

通过所述声学模型包括的声学得分预测子网络，至少根据所述声学特征和所述视觉特征，获取所述语音数据的声学得分；

根据所述声学得分，确定与所述语音数据对应的文本序列。

2.根据权利要求1所述的方法，其特征在于，

所述声学模型包括如下网络结构的模块之一：深层前馈序列记忆神经网络结构DFSMN、深度卷积神经网络DCNN，双向长短时记忆网络BLSTM。

3.根据权利要求1所述的方法，其特征在于，所述根据所述声学得分，并确定与所述语音数据对应的文本序列，包括：

通过语言模型获取所述语音数据的语言得分；

根据所述声学得分和所述语言得分，确定所述文本序列。

4.根据权利要求1所述的方法，其特征在于，还包括：

获取所述语音数据的第一声学特征；

所述通过声学模型包括的声学特征提取子网络，并提取所述语音数据的声学特征，包括：

将所述第一声学特征作为所述声学特征提取子网络的输入数据，通过所述声学特征提取子网络，从所述第一声学特征中提取所述声学特征。

5.根据权利要求1所述的方法，其特征在于，还包括：

获取所述图像数据的图像特征；

通过所述图像声学特征提取子网络，从所述图像特征中提取所述视觉特征。

6.根据权利要求1所述的方法，其特征在于，还包括：

获取包括文本序列标注信息的训练数据集；所述训练数据包括训练用语音数据、与所述训练用语音数据对应的训练用图像数据、及文本序列；

构建神经网络；所述神经网络包括所述声学特征提取子网络、训练用图像声学特征提取子网络和声学得分预测子网络；

根据所述训练数据集训练所述神经网络。

7.根据权利要求6所述的方法，其特征在于，

所述训练用图像声学特征提取子网络包括视频模态丢失层和第一图像声学特征提取子网络；

所述视觉特征采用如下步骤提取：

通过所述视频模态丢失层，判断是否丢失所述图像数据；

若是，则清除所述图像数据；

若否，则通过所述第一图像声学特征提取子网络，从所述图像数据中提取视觉特征。

8.一种语音识别装置，其特征在于，包括：

数据获取单元，用于获取待识别的语音数据、及与所述语音数据对应的图像数据；

特征提取单元，用于通过声学模型包括的声学特征提取子网络，提取所述语音数据的声学特征；以及，通过所述声学模型包括的视觉特征提取子网络，从所述图像数据中提取与所述语音数据对应的视觉特征；

声学得分预测单元，用于通过所述声学模型包括的声学得分预测子网络，至少根据所述声学特征和所述视觉特征，获取所述语音数据的声学得分；

文本序列确定单元，用于根据所述声学得分，确定与所述语音数据对应的文本序列。

9.根据权利要求8所述的装置，其特征在于，所述文本序列确定单元包括：

语言得分获取子单元，用于通过语言模型获取所述语音数据的语言得分；

文本序列确定子单元，用于根据所述声学得分和所述语言得分，确定所述文本序列。

10.根据权利要求8所述的装置，其特征在于，还包括：

第一特征提取单元，用于获取所述语音数据的第一声学特征；

所述特征提取单元，具体用于将所述第一声学特征作为所述声学特征提取子网络的输入数据，通过所述声学特征提取子网络，从所述第一声学特征中提取所述声学特征。