[发明专利]一种基于物体导向外部记忆模块的视频物体检测模型

说明书

本发明公开了一种基于物体导向外部记忆模块的视频物体检测模型，涉及计算机视觉方向的视频物体检测领域，包括外部记忆模块，以及与所述外部记忆模块相连接的外部记忆输入模块和外部记忆输出模块；所述外部记忆模块为物体导向的多级外部记忆模块；所述外部记忆模块包括特征存储矩阵，用于存储特征；所述特征由所述外部记忆输入模块从特征图中进行选择并输入；所述外部记忆输出模块将所述外部记忆模块中的所述特征输出到所述特征图中。本发明具有更好的存储空间利用率和更好的保存长时记忆的能力，同时达到更好的视频物体检测性能。

技术领域

本发明涉及计算机视觉方向的视频物体检测领域，尤其涉及一种基于物体导向外部记忆模块的视频物体检测模型。

背景技术

基于图像的最新物体检测器为基于图像的物体检测提供了有效的检测框架，但是当这类图像物体检测器应用于视频物体检测时，由于视频帧的质量较低，存在各种在图片数据集中难得出现的情况，例如运动模糊，散焦和遮挡。由于在这类低质量视频帧中，仅凭一帧的内容无法准确检出物体，因此将这类基于单帧图片的物体检测方法直接应用于视频时，检测性能不能达到理想的状态。

为了从根本上提高视频物体检测性能，使检测器能够提供更高质量的卷积特征，最新的视频物体检测器则利用视频中的丰富时序信息来增强卷积神经网络所提取的特征表示，尤其是在低质量帧的特征表示。由于帧内容移位，为了通过时序信息增强视频帧的特征表示，首先要对齐不同帧的卷积特征图，然后将对其的不同帧的特征图与当前帧聚合。这些时序特征图有多种不同的名称，例如时序记忆或记忆缓存，卷积特征图被直接当作用于传播记录时序信息的载体。我们将如何读取和写入时序记忆的方法放在一个统一的视图下来比较，这些方法被分为密集聚合方法和循环聚合方法。

在密集聚合方法中，时序记忆由多个临近帧提取的卷积特征图组成。读取涉及将所有卷积特征图进行空间上的对齐并聚合到当前帧中。聚合的特征图用于在当前帧上进行检测。每次检测后，在检测下一帧时，都会写入下一帧的临近帧的特征图以替换当前存储的特征图。上述方法旨在为当前帧提供足够的时序信息。

在循环聚合方法中，时序记忆内容仅包含一个卷积特征图，读写同时进行。当内存特征图对齐并聚合到当前帧中时，聚合的特征图用于在当前帧上进行检测，并成为新的内存特征图。上述方法相比密集聚合法的检测速度更快，并且能够进行在线物体检测。在密集聚合和循环聚合方法中，时序内存都是由检测网络内完整大小的特征图组成，其大小和内容组织完全取决于检测网络和输入帧中的特征分布，因此被称为“内部记忆”。

内部记忆在时间传播方面有缺陷。在密集聚合方法中，通常会存储20多个临近帧的特征图，以提供足够的时序信息。由于内部记忆存储具有完整大小的特征图，与检测对象无关的冗余信息也会被存储和传播，从而导致存储效率低下。在循环聚合方法中，所有过去的信息都被压缩到一个特征图中，其中信息的空间位置仅取决于当前帧中内容的位置，会导致当当前帧的内容变差，物体表面特征或视野急剧变化时，很容易中断有用的长期信息，因为当前聚合的特征图将成为新的时序记忆并覆盖旧的记忆。

有鉴于已有技术的上述缺陷，本发明所要解决的技术问题是提出一个更好地利用时序信息的视频物体检测模型，该模型可以拥有更好的存储空间利用率和更好的保存长时记忆的能力，同时达到更好的视频物体检测性能。

因此，本领域的技术人员致力于开发一种基于物体导向外部记忆模块的视频物体检测模型，以克服现有技术中存在的技术缺陷。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提出一个更好地利用时序信息的视频物体检测模型，该模型可以拥有更好的存储空间利用率和更好的保存长时记忆的能力，同时达到更好的视频物体检测性能。除此之外，该模型还需要克服两个技术难点：

1、如何使模型更能提取出有意义的记忆内容来，从而为之后帧的检测提供有意义的时序信息，同时避免记忆过于庞大，从而避免需要大量的存储空间来存储记忆而减慢检测速度。除此之外，还需要保证不需要的记忆被及时清除，需要的记忆被长时间保存来维护长时记忆；