[发明专利]用于视听事件定位的双模态关系网络

权利要求书

1.一种系统，包括：

硬件处理器；

存储器，所述存储器与所述硬件处理器耦合；

所述硬件处理器被配置为：

接收用于音频-视觉事件定位的视频馈送；

基于所述视频馈送的所提取的音频特征和视频特征的组合，通过运行第一神经网络来确定所述视频馈送中的信息特征和区域；

基于由所述第一神经网络确定的所述视频馈送中的所述信息特征和区域，通过运行第二神经网络来确定关系感知视频特征；

基于由所述第一神经网络确定的所述视频馈送中的所述信息特征和区域，通过运行第三神经网络来确定关系感知音频特征；

通过运行第四神经网络，基于所述关系感知视频特征和所述关系感知音频特征获得双模态表示；

将所述双模态表示输入到分类器，以识别所述视频馈送中的音频-视觉事件。

2.根据权利要求1所述的系统，其中，所述硬件处理器还被配置为至少用所述视频馈送的视频部分运行第一卷积神经网络以提取所述视频特征。

3.根据权利要求1所述的系统，其中，所述硬件处理器还被配置为至少用所述视频馈送的音频部分运行第二卷积神经网络以提取所述音频特征。

4.根据权利要求1所述的系统，其中，所述双模态表示在识别所述音频-视觉事件中被用作所述分类器的最后一层。

5.根据权利要求1所述的系统，其中，所述分类器识别所述视频馈送中的所述音频-视觉事件包括识别所述视频馈送中发生所述音频-视觉事件的位置以及所述音频-视觉事件的类别。

6.根据权利要求1所述的系统，其中，所述第二神经网络在确定所述关系感知视频特征时获取所述视频特征中的时间信息和所述视频特征与所述音频特征之间的跨模态信息两者。

7.根据权利要求1所述的系统，其中，所述第三神经网络在确定所述关系感知音频特征时获取所述音频特征中的时间信息和所述视频特征与所述音频特征之间的跨模态信息两者。

8.一种计算机实现的方法，包括：

接收用于音频-视觉事件定位的视频馈送；

基于所述视频馈送的所提取的音频特征和视频特征的组合，通过运行第一神经网络来确定所述视频馈送中的信息特征和区域；

基于由所述第一神经网络确定的所述视频馈送中的所述信息特征和区域，通过运行第二神经网络来确定关系感知视频特征；

基于由所述第一神经网络确定的所述视频馈送中的所述信息特征和区域，通过运行第三神经网络来确定关系感知音频特征；

通过运行第四神经网络，基于所述关系感知视频特征和所述关系感知音频特征获得双模态表示；

将所述双模态表示输入到分类器，以识别所述视频馈送中的音频-视觉事件。

9.根据权利要求8所述的方法，还包括至少用所述视频馈送的视频部分运行第一卷积神经网络以提取所述视频特征。

10.根据权利要求8所述的方法，还包括至少用所述视频馈送的音频部分运行第二卷积神经网络以提取所述音频特征。

11.根据权利要求8所述的方法，其中，所述双模态表示在识别所述音频-视觉事件中被用作所述分类器的最后一层。

12.根据权利要求8所述的方法，其中，所述分类器识别所述视频馈送中的所述音频-视觉事件包括识别所述视频馈送中发生所述音频-视觉事件的位置以及所述音频-视觉事件的类别。

13.根据权利要求8所述的方法，其中，所述第二神经网络在确定所述关系感知视频特征时获取所述视频特征中的时间信息和所述视频特征与所述音频特征之间的跨模态信息两者。