[发明专利]一种从视频中定位音源的方法

说明书

本发明提出一种从视频中定位音源的方法，属于跨模态学习领域。该方法在训练阶段获取训练样本视频并进行预处理，构建一个由全连接层构成的神经网络和一个定位网络构成的音源定位神经网络，利用预处理完毕的训练样本对该音源定位神经网络进行训练，得到训练完毕的的音源定位神经网络。在测试阶段，获取测试视频并预处理，然后输入训练完毕的音源定位神经网络并计算相似度，通过相似度来进行进一步的声音与视频画面的同步以及同步后的音源定位，从而解决不同步视频的音源定位问题。本发明可以自动发现视频画面中的各个物体和声音之间的对应关系，定位准确率高，位置精确度高，有很高的应用价值。

技术领域

本发明提出一种从视频中定位音源的方法，属于跨模态学习领域。

背景技术

近年来，随着网络和电视的流行，人们面对着越来越多的视频片段。视频中包含着丰富的声音和画面，寻找其中的关联在许多方面是有意义的，例如其可以使人类与机器的交互更加友好。自动地去发现和视频画面中的各个物体和声音之间的对应关系，从而帮助人们快速地了解视频中发音的部分，变得越来越重要。机器人也可以通过定位视频中的音源在许多场景例如救援等方面确定目标的位置。

目前在视频声源定位方面已有的工作大都是在像素级别来定位,利用卷积神经网络学习出声音和画面中的不同位置的关联，利用热力图在原来的图像中标记出可能发出声音的部分，这种方法定位的边缘模糊，定位精准度不高，并且在声音和画面不同步的视频帧仍然有定位信息。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种从视频中定位音源的方法。本发明可以自动发现视频画面中的各个物体和声音之间的对应关系，定位准确率高，位置精确度高，有很高的应用价值。

本发明提出一种从视频中定位音源的方法，其特征在于，包括以下步骤：

(1)训练阶段；

(1-1)获取训练样本；获取J段视频作为训练样本，每个训练样本长度为10秒，对每个训练样本中所包含的物体类别进行标注；

(1-2)对步骤(1-1)获取的训练样本进行预处理；所述预处理包括视觉模态处理和声音模态处理；具体步骤如下：

(1-2-1)对每一个训练样本进行视觉模态处理，得到该训练样本对应的视觉特征；方法如下：

将任一训练样本10秒的视频数据进行1赫兹采样，得到对应的N＝10帧图像；然后对每一帧图像进行目标检测，目标检测算法的输入为每一帧图像，输出为该帧图像对应的若干个目标检测框，将每个目标检测框对应的目标检测算法中全连接层的2048维特征取出作为该目标检测框的特征，则每帧图像的特征为该帧图像所有目标检测框的特征集合，每一个训练样本的视觉特征为该样本的N帧图像的特征集合；

记第i个训练样本的第n帧图像的第k个目标检测框的特征为n＝1,…,N，k＝1,…,K，i＝1,…,J；其中，K为目标检测框的阈值个数，K＝20；设当前图像帧的目标检测框的实际数量为M，若MK，则用K-M个0向量来补全该帧图像的特征；若M≥K，则随机选取M个目标检测框中的K个目标检测框的特征作为该帧图像的特征；得到每一帧图像的特征为K*2048维；

记录一个二进制的掩码表示第i个训练样本的第n帧图像的掩码，掩码的长度为K，其中i＝1,…,J，n＝1,…,N，若一帧图像共有l个有效的目标检测框，则该掩码的前l个值为1，其余的值为0，l≤K；

(1-2-2)对每一个的训练样本进行声音模态处理，得到该训练样本对应的声音特征；方法如下：