[发明专利]视频理解神经网络系统及其使用方法

说明书

本申请涉及到时间信息聚合(TIA)神经网络块，以提取潜在的多尺度时间信息。通过应用TIA，不同时间尺度的信息可以被有效提取。TIA块可以作为一个块来实现，因此可以插入到任何架构中。提取的多尺度时间信息作为残差贡献给最终输出。

技术领域

本申请涉及神经网络系统和方法，更具体地，涉及视频理解神经网络系统及其使用方法。

背景技术

视频是当今大数据中不可缺少的一部分。在图像和语音的深度学习进展的推动下，使用深度学习技术来理解视频内容已经成为最热门的话题之一。与静止图像相比，视频数据中隐藏着额外的多尺度时间模式。视频理解，如视频分类或其它类型的使用人工智能的机器学习方法，目标是提取鲁棒的视频特征表示，并有效利用视频中的多尺度时空线索，根据其语义内容如人类行动或复杂事件自动分类视频片段。

针对这项任务，大量工作已经开展。然而，目前的工作通常受到昂贵的计算成本或内存开销的影响。例如，双流CNN的计算成本很高，而且不能考虑帧的顺序，不能分析视频中的时间动态；非本地神经网络的特点是在矩阵乘法中具有很大的内存开销；慢速网络的计算成本很高。

因此，需要找到一个高效、轻量级但通用的组件，用于捕捉深度神经网络中的时间依赖性。

发明内容

本申请的一个方面涉及由一个或多个电子设备实现的神经网络系统(例如，2D、3D神经网络系统或其它维度的神经网络系统)。该神经网络包括：基线神经网络，用于处理以时间序列构建的多个图像。该基线神经网络包括：第一基线块，用于处理第一特征图中的至少一个空间特征，从而将与多个图像相关的第一特征图转换为第二特征图；以及邻近该第一基线块的目标神经网络块，用于对第二特征图进行时间处理，从而将第二特征图转换为时间特征图；并将该时间特征图与该第二特征图相结合，从而生成第三特征图。

根据本申请的一个方面，提出了一种使用至少一个神经网络分析以时间序列构建的多个图像(例如，视频剪辑)的方法。该方法包括：基线神经网络的第一块处理第一特征图中的至少一个空间特征，从而将与多个图像相关的该第一特征图转换为第二特征图；目标神经网络块对该第二特征图进行时间处理，从而将该第二特征图转换为时间特征图；以及该目标神经网络块将该时间特征图与该第二特征图相结合，从而生成第三特征图。

根据本申请的另一个方面，非临时存储介质可以包括用于神经网络(例如，二维、三维神经网络系统或其它维度的神经网络系统)的指令集和操作该神经网络的操作指令。当执行指令集时，电子设备的处理器可以执行以下操作：基线神经网络的第一块处理第一特征图中的至少一个空间特征，从而将与多个图像相关的该第一特征图转换为第二特征图；目标神经网络块对该第二特征图进行时间处理，从而将该第二特征图转换为时间特征图；以及该目标神经网络块将该时间特征图与该第二特征图相结合，从而生成第三特征图。

附图说明

本申请的内容将通过示范性实施例进一步描述。在以下的详细描述中，当结合附图时，本申请的实施例的上述和其它方面将变得更加明显。

图1示出了本申请实施例提出的一种用于操作神经网络系统和视频分类方法的电子设备的示意框图；

图2示出了本申请实施例提出的一种用于分类和分析视频片段的基线神经网络的结构示意图；

图3A-C示出了本申请实施例提出的基线神经网络的不同神经网络块结构的示意框图；

图4示出了本申请实施例提出的一种用于分类视频片段的经修正的神经网络的结构示意图；

图5示出了本申请实施例提出的一种时间信息聚合块的示意图；

图6A-C示出了本申请实施例提出的时间信息聚合块可提取的时间信息的示意图；

图7示出了本申请实施例提出的一种通过至少一个神经网络分析时序构建的多个图像的方法的流程图。

具体实施方式