[发明专利]基于音视频双模态的语音识别方法及系统

说明书

本发明涉及语音技术领域，公开了一种基于音视频双模态的语音识别方法及系统，方法包括获取待处理的音频数据和视频数据；对音频数据进行特征提取，得到音频特征；采用3D和2D卷积网络对视频数据进行特征提取，得到视频特征；采用基于Transformer的双向信息交互的编码器，对音频特征和视频特征进行编码；采用基于Transformer的音视频解码器，预测出当前时间步的字符的状态码，获得音视频对应的预测状态序列；将状态序列一一映射为文本，得到文本信息。该方法不仅有效且鲁棒，且可满足用户嘈杂环境下的语音识别需求，提高语音识别结果准确度，增强用户体验。

技术领域

本发明涉及语音识别技术领域，尤其涉及一种基于音视频双模态的语音识别方法及系统。

背景技术

随着语音识别的普及，语音识别技术被应用在各个领域，用户可以借助语音识别技术，实现智能输入，只需要通过语音，就可以完成文字输入、指令控制等，极大地便利了人们的生产生活。但是，目前市场上的语音识别，只限于语音信号作为唯一的输入源。而现实场景中，某些场景下，语音信号会被严重干扰，例如远场混响，多人同时说话，或者背景噪音，它们很大程度上降低语音识别效果。因而，基于单模态语音信号的语音识别技术急需改进。

相关技术中，公开号为CN 111754992 A的发明专利申请公开了一种噪声鲁棒的音视频双模态语音识别方法及系统，提取音频的梅尔频率倒谱系数以及它的一阶二阶动态系数作为音频特征，视频分帧并经过人脸检测和对齐，截取固定的唇部区域送入到残差网络，以得到视频特征；引入注意机制将音视频的高层网络的特征信息进行对齐矫正，得到融合音频和视频的特征表示，实现了特征的前期融合，并经过音、视频两个独立的注意机制，实现了特征的后期融合，然后解码输出识别结果。并且在特征的后期融合时加入模态注意力，根据音视频模态的信息含量自适应地赋予音视频特征的权重，再进行特征的融合，使得模型更稳健。

但该方法使用的是于GRU的LSTM神经网络，LSTM在训练阶段和预测阶段的编解码过程都是逐时间步(逐帧)计算的，即循环计算，计算效率不高；另外，该方法对音频和视频进行独立编码得到特征，然后对编码后的特征进行连接或者加权融合，在音频和视频各自的编码过程中是不进行两个模态之间的信息交互的，即音频编码特征在编码阶段不会直接影响视频编码特征提取，同样，视频编码特征在编码阶段不会直接影响音频编码特征提取。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种基于音视频双模态的语音识别方法及系统，旨在提升语音识别的效果。

本发明提供了一种基于音视频双模态的语音识别方法，所述方法包括以下步骤：

获取待处理的音视频数据，音视频数据包括成对的音频数据和视频数据；

对所述音频数据进行特征提取，得到音频特征；

采用视频预处理方法以及3D和2D卷积网络对所述视频数据进行特征提取，得到视频特征；

采用预先训练好的基于Transformer的双向信息交互的编码器，对音频特征和视频特征进行编码，并在编码阶段，利用信息交互子模块对所述音频特征和所述视频特征进行双向信息交互，获得音频编码特征和视频编码特征，其中，在所述编码器的训练过程中利用交叉重构模块获取交叉重构损失以用于所述编码器训练，其中在训练过程中，所述基于Transformer的双向信息交互的编码器的网络参数是待训练的；

采用预先训练好的基于Transformer的音视频解码器，结合所述音频编码特征、所述视频编码特征和之前时间步预测的字符状态码序列，迭代预测每一个时间步的字符的状态码，获得音视频对应的预测状态序列，其中在训练过程中，所述基于Transformer的音视频解码器的网络参数是待训练的；

将所述预测状态序列转化为文本信息。