[发明专利]一种基于神经网络和逆熵加权的音视频关键词识别方法和装置

摘要

本发明公开一种基于神经网络和逆熵加权的音视频关键词识别方法和装置。首先，视频中说话人的唇部区域被直接提取为视觉特征，降低了人工设计视觉特征提取噪声的误差，其次，二维和三维卷积神经网络被分别用于对关键词和非关键词的语音和视觉特征进行建模并生成声学模板和视觉模板，可有效地对声学特征的时频特性和视觉特征的时空特性进行建模；再次，根据声学模板和视觉模板，可对待检测的音视频计算得到关键词和非关键词的声学和视觉似然度；最后，对声学和视觉似然度计算对应的熵值来生成声学模态和视觉模态的可靠度权重，以实现音视频的决策层加权融合估计。本发明能够充分利用声学噪声条件下视觉信息的贡献，提高了关键词识别的性能。

主权项

1.一种基于神经网络和逆熵加权的音视频关键词识别方法，包括以下步骤：1)录制关键词音视频，标注出所述音视频中关键词和非关键词语音的起止时间点，根据所述关键词和非关键词语音的起止时间点提取所述关键词和所述非关键词的声学特征向量序列和视觉特征向量序列，根据所述关键词和所述非关键词的声学特征向量序列和视觉特征向量序列通过训练神经网络得到所述关键词和所述非关键词的声学神经网络模型和视觉神经网络模型；2)根据不同声学噪声环境下的音视频得到声学似然度和视觉似然度，根据所述声学似然度和所述视觉似然度通过计算逆熵得到声学模态可靠度、视觉模态可靠度，根据所述声学模态可靠度和所述视觉模态可靠度得到最优音视频融合权重；3)根据步骤1)所述声学神经网络模型和所述视觉神经网络模型，以及步骤2)所述最优音视频融合权重，对待测音视频进行关键词识别。