[发明专利]用于视听事件定位的双模态关系网络

说明书

可以提供用于视听事件定位的双模态关系网络。可以接收用于视听事件定位的视频馈送。基于视频馈送的所提取的音频特征和视频特征的组合，可以通过运行第一神经网络来确定视频馈送中的信息特征和区域。基于由第一神经网络确定的视频馈送中的信息特征和区域，可以通过运行第二神经网络来确定关系感知视频特征。基于视频馈送中的信息特征和区域，可以通过运行第三神经网络来确定关系感知音频特征。可以通过运行第四神经网络基于相关感知视频特征和相关感知音频特征获得双模态表示。可以将双模态表示输入到分类器以识别视频馈送中的视听事件。

背景技术

本申请总体上涉及计算机和计算机应用，并且更具体地涉及人工智能、机器学习、神经网络以及视听(audio-visual)学习和视听事件定位。

事件定位对于视频理解是有挑战性的任务，其需要机器来定位事件或动作，以及识别无约束视频中的类别。一些现有方法仅采用红-绿-蓝(RGB)帧或光流作为输入来定位和识别事件。然而，由于强烈的视觉背景干扰和大的视觉内容变化，可能难以仅用视觉信息来定位事件。

视听事件(AVE)定位任务已经引起越来越多的关注，AVE定位任务要求机器确定在视频片段中可听和可见的事件的存在以及事件属于什么类别。AVE定位任务可能由于以下困难而具有挑战性：1)无约束视频中的复杂视觉背景使得难以定位AVE，以及2)定位和识别AVE要求机器同时考虑来自两个模态(即，音频和视频)的信息并且利用它们的关系。在复杂的视觉场景和错综复杂的声音之间建立连接是重要的。此任务中的一些方法独立地处理两个模态，且仅在最终分类器之前将其融合在一起。现有方法主要聚焦于捕获单个模态内的片段之中的时间关系作为用于事件定位的潜在提示。

发明内容

给出本公开的概述以帮助理解计算机系统、计算机应用、机器学习、神经网络、视听学习和视听事件定位，并且不旨在限制本公开或本发明。应理解，本公开的各个方面和特征可有利地在一些情况下单独地使用，或在其他实例中与本公开的其他方面和特征组合使用。因此，可以对计算机系统、计算机应用、机器学习、神经网络和/或它们的操作方法作出变化和修改以实现不同的效果。

可以提供一种系统和方法，其可以实现用于视听事件定位的双模态关系网络。在一个方面中，所述系统可包括硬件处理器和与所述硬件处理器耦合的存储器。硬件处理器可以被配置为接收用于视听事件定位的视频馈送。硬件处理器还可以被配置为基于视频馈送的所提取的音频特征和视频特征的组合，通过运行第一神经网络来确定视频馈送中的信息特征和区域。硬件处理器还可以被配置为基于由第一神经网络确定的视频馈送中的信息特征和区域，通过运行第二神经网络来确定关系感知视频特征。硬件处理器还可以被配置为基于由第一神经网络确定的视频馈送中的信息特征和区域，通过运行第三神经网络来确定关系感知音频特征。硬件处理器还可以被配置为通过运行第四神经网络，基于关系感知视频特征和关系感知音频特征获得双模态表示。硬件处理器还可以被配置为将双模态表示输入到分类器，以识别视频馈送中的视听事件。

在另一方面中，该系统可包括硬件处理器和与该硬件处理器耦合的存储器。硬件处理器可以被配置为接收用于视听事件定位的视频馈送。硬件处理器还可以被配置为基于视频馈送的所提取的音频特征和视频特征的组合，通过运行第一神经网络来确定视频馈送中的信息特征和区域。硬件处理器还可以被配置为基于由第一神经网络确定的视频馈送中的信息特征和区域，通过运行第二神经网络来确定关系感知视频特征。硬件处理器还可以被配置为基于由第一神经网络确定的视频馈送中的信息特征和区域，通过运行第三神经网络来确定关系感知音频特征。硬件处理器还可以被配置为通过运行第四神经网络，基于关系感知视频特征和关系感知音频特征获得双模态表示。硬件处理器还可以被配置为将双模态表示输入到分类器，以识别视频馈送中的视听事件。硬件处理器还可以被配置为至少用视频馈送的视频部分运行第一卷积神经网络以提取视频特征。