[发明专利]一种基于神经网络和逆熵加权的音视频关键词识别方法和装置

说明书

本发明公开一种基于神经网络和逆熵加权的音视频关键词识别方法和装置。首先，视频中说话人的唇部区域被直接提取为视觉特征，降低了人工设计视觉特征提取噪声的误差，其次，二维和三维卷积神经网络被分别用于对关键词和非关键词的语音和视觉特征进行建模并生成声学模板和视觉模板，可有效地对声学特征的时频特性和视觉特征的时空特性进行建模；再次，根据声学模板和视觉模板，可对待检测的音视频计算得到关键词和非关键词的声学和视觉似然度；最后，对声学和视觉似然度计算对应的熵值来生成声学模态和视觉模态的可靠度权重，以实现音视频的决策层加权融合估计。本发明能够充分利用声学噪声条件下视觉信息的贡献，提高了关键词识别的性能。

技术领域

本发明属于信息技术领域，涉及一种应用在多媒体领域的关键词检索技术，具体涉及一种基于神经网络和逆熵加权的音视频关键词识别方法和装置。

背景技术

语音是人类最直接高效、自然方便的沟通交流工具。语音关键词识别是连续语音识别的一个重要分支，它的任务是在给定的连续无限制的语音流中检测出预先设定的若干个关键词，而连续语音识别则侧重于将整段连续无限制的语音流转化为相应的文本。相较于连续语音识别，关键词识别更加灵活，对非关键词部分的发音要求较低，对环境的抗噪能力相对较强，因此更适合相关特定的应用领域，如音频文档检索，人机交互，数据挖掘，国防监听等。为了提高语音识别系统在噪声环境下的鲁棒性，近年来，音视频语音识别技术将声学和视觉信息融合来对语音进行识别，成为热门研究方向。基本上，音视频关键词识别技术的研究主要集中在三个方面：视觉特征的选取、关键词识别方法以及音视频信息的融合策略。

目前用于音视频语音识别的视觉特征主要有三种：表观特征，形状特征以及混合特征。基于表观特征的方法提取整个感兴趣的图像区域或者经过处理后的变换域图像的像素特征，不会丢失有用的视觉信息，而且不需要复杂的嘴唇轮廓跟踪算法，实现起来比较简单，因此广泛应用于音视频语音识别中。但是目前大多数表观特征提取方法主要从全局角度考虑嘴部区域的特征，忽略了描述时域和空域局部变化的局部信息，而这些局部信息是至关重要的。

现有的关键词识别方法有四大类：基于垃圾模型的方法，基于词格的方法，基于大词汇量连续语音识别的方法和基于深度学习的方法。音视频融合的目的在于在不同的声学和视觉环境下，将声学模态和视觉模态的信息有效结合，并获得与基于单一模态语音识别相同或者优于单一模态的识别性能。当声学噪声较小时，声学模态的作用大于视觉模态，因此音视频融合的识别性能至少等同于单一的声学语音识别。当声学噪声较大时，视觉信息的作用则凸显出来，融合后的识别性能应该和单一的视觉语音识别相同或者更优。好的音视频融合方法可以充分挖掘声学和视觉模态在不同环境下的互补信息，有效结合两个模态的作用以获得鲁棒的识别性能。

从融合层次角度出发，目前音视频的融合的策略主要有两种：特征层融合以及决策层融合。特征层融合直接将声学特征和视觉特征以帧为单位拼接形成一个组合特征矢量，然后再输入一个分类器进行识别。这种融合层次无法解决不同声学信噪比环境下的视觉和声学的贡献分配问题。决策层融合将声学信号和视觉信号分开进行处理，因此噪声环境下，决策层融合更容易生成用于结合声学模态和视觉模态贡献的自适应权重，以获得最优的结合效果。

发明内容

针对上述问题，本发明的目的在于提供一种基于神经网络和逆熵加权的音视频关键词识别方法和装置。本发明针对视觉特征和听觉特征的不同维度特性，提出了一种神经网络(优选为多维卷积神经网络)分别对视觉特征的时空特性和听觉特征的时频特性进行建模。本发明考虑音视频融合关键词识别中，不同声学信噪比环境下视觉和声学信息的可靠性不同，提出了一种基于逆熵加权的决策层自适应融合方法。

本发明首先提供一种基于神经网络和逆熵加权的音视频关键词识别方法，其步骤包括：