[发明专利]一种基于神经网络和逆熵加权的音视频关键词识别方法和装置

权利要求书

1.一种基于神经网络和逆熵加权的音视频关键词识别方法，包括以下步骤：

1)录制关键词音视频，标注出所述音视频中关键词和非关键词语音的起止时间点，根据所述关键词和非关键词语音的起止时间点提取所述关键词和所述非关键词的声学特征向量序列和视觉特征向量序列，根据所述关键词和所述非关键词的声学特征向量序列和视觉特征向量序列通过训练神经网络得到所述关键词和所述非关键词的声学神经网络模型和视觉神经网络模型；

2)根据不同声学噪声环境下的音视频得到声学似然度和视觉似然度，根据所述声学似然度和所述视觉似然度通过计算逆熵得到声学模态可靠度、视觉模态可靠度，根据所述声学模态可靠度和所述视觉模态可靠度得到最优音视频融合权重；

3)根据步骤1)所述声学神经网络模型和所述视觉神经网络模型，以及步骤2)所述最优音视频融合权重，对待测音视频进行关键词识别；

步骤1)包含如下步骤：

1-1)根据包含关键词的抄本同步录制音视频，得到多个完整的语音段和视频段；

1-2)标注出步骤1-1)中所述语音段中关键词和非关键词语音的起止时间点；

1-3)根据步骤1-2)中所述关键词和非关键词语音的起止时间点，分帧、加窗后提取所述关键词和所述非关键词的声学特征向量序列和视觉特征向量序列；

1-4)根据步骤1-3)中所述关键词和所述非关键词的语音声学特征向量序列和视觉特征向量序列，训练所述关键词和所述非关键词的声学神经网络模型和视觉神经网络模型；

步骤2)包含如下步骤：

2-1)根据已标注关键词的不同噪声环境下的音视频段，提取所述音视频段的声学特征向量序列和视觉特征向量序列；

2-2)将步骤2-1)中所述声学特征向量序列输入步骤1-4)中所有关键词的声学神经网络模型，输出得到声学似然度；将步骤2-1)中所述视觉特征向量序列输入步骤1-4)中所有关键词的视觉神经网络模型，输出得到视觉似然度；

2-3)根据步骤2-2)中所述声学似然度和所述视觉似然度，得到声学模态可靠度和视觉模态可靠度；

2-4)根据步骤2-3)中所述声学模态可靠度和所述视觉模态可靠度得到最优音视频融合权重；

步骤2-2)所述声学特征向量序列和视觉特征向量序列对于对应的声学神经网络模型和视觉神经网络模型的似然度的计算公式为：

其中，A,V分别代表声学特征向量和视觉特征向量，x_l为第l个关键词，W_a,W_v分别为训练得到的声学二维卷积网络和视觉三维卷积网络的参数,C是关键词的数目，oa,ov分别代表听觉和视觉卷积神经网络的输出；

步骤2-3)中所述声学模态可靠度和所述视觉模态可靠度的计算公式为：

步骤2-4)中所述最优音视频融合权重的线性加权公式为：

P(x_l|A,V)＝αP(x_l|A,W_a)+(1-α)P(x_l|V,W_v)

其中，P(x_l|A,V)为音视频信息融合后的关键词似然度，α为最优音视频融合权重，a表示听觉符号标注，v表示视觉符号标注；P(x_l|A,W_a)为声学似然度，P(x_l|V,W_v)为视觉似然度。

2.如权利要求1所述的方法，其特征在于，步骤1-4)所述声学神经网络模型是二维卷积神经网络模型，所述视觉神经网络模型是三维卷积神经网络模型。