[发明专利]基于音视频双模态的语音识别方法及系统

权利要求书

1.一种基于音视频双模态的语音识别方法，其特征在于，所述方法包括以下步骤：

获取待处理的音视频数据，音视频数据包括成对的音频数据和视频数据；

对所述音频数据进行特征提取，得到音频特征；

采用视频预处理方法以及3D和2D卷积网络对所述视频数据进行特征提取，得到视频特征；

采用预先训练好的基于Transformer的双向信息交互的编码器，对音频特征和视频特征进行编码，并在编码阶段，利用信息交互子模块对所述音频特征和所述视频特征进行双向信息交互，获得音频编码特征和视频编码特征，其中，在所述编码器的训练过程中利用交叉重构子模块获取交叉重构损失以用于所述编码器训练，其中在训练过程中，所述基于Transformer的双向信息交互的编码器的网络参数是待训练的；

采用预先训练好的基于Transformer的音视频解码器，结合所述音频编码特征、所述视频编码特征和之前时间步预测的字符状态码序列，迭代预测每一个时间步的字符的状态码，获得音视频对应的预测状态序列，其中在训练过程中，所述基于Transformer的音视频解码器的网络参数是待训练的；

将所述预测状态序列转化为文本信息。

2.如权利要求1所述的基于音视频双模态的语音识别方法，其特征在于，对所述音频数据进行特征提取，得到音频特征，包括：

利用一阶高通滤波器对所述音频数据进行处理，得到增强音频信号；

对所述增强高频信号的音频信号进行分帧加窗，得到以帧为单位的语音信号；

利用短时傅里叶变换和三角滤波器组对所述语音信号进行特征提取，得到音频Fbank特征。

3.如权利要求1所述的基于音视频双模态的语音识别方法，其特征在于，所述采用视频预处理方法以及3D和2D卷积网络对所述视频数据进行特征提取，得到视频特征，包括：

利用人脸探测工具，筛选出所述视频数据中包含人脸嘴唇的图像帧并依序保留；

裁剪所述图像帧中的人脸区域，组成连续的帧，作为预处理结果；

将所述预处理结果送入预训练好的3D和2D卷积神经网络中，提取得到视频特征。

4.如权利要求1所述的基于音视频双模态的语音识别方法，其特征在于，所述基于Transformer的双向信息交互的编码器包括Transformer视频编码器、Transformer音频编码器和信息交互子模块；

所述Transformer视频编码器包括N层视频编码块，所述Transformer音频编码器包括N层音频编码块；

所述Transformer视频编码器的第i层视频编码块的输出和所述Transformer音频编码器的第i层音频编码块的输出连接到信息交互子模块，所述信息交互子模块分别输出第i层的音频互补信息和视频互补信息；

所述信息交互子模块输出的第i层的音频互补信息和所述Transformer音频编码器第i层音频编码块的输出经相加操作后作为所述Transformer音频编码器第i+1层音频编码块的输入；

所述信息交互子模块输出的第i层的视频互补信息和所述Transformer视频编码器第i层视频编码块的输出经相加操作后作为所述Transformer视频编码器第i+1层视频编码块的输入；

其中，1≤iN，N表示音频编码器或者视频编码器的层数，所述Transformer视频编码器的最后一层视频编码块和所述Transformer音频编码器的最后一层音频编码块与所述基于Transformer的音视频解码器连接。