[发明专利]一种基于物体导向外部记忆模块的视频物体检测模型

权利要求书

1.一种基于物体导向的外部记忆模块的视频检测模型，其特征在于，包括外部记忆模块，以及与所述外部记忆模块相连接的外部记忆输入模块和外部记忆输出模块；

所述外部记忆模块为物体导向的多级外部记忆模块；

所述外部记忆模块包括特征存储矩阵，用于存储特征；

所述特征由所述外部记忆输入模块从特征图中进行选择并输入；

所述外部记忆输出模块将所述外部记忆模块中的所述特征输出到所述特征图中；

所述视频检测模型还包括物体检测模块，所述物体检测模块包括物体检测框；

所述物体检测框将位于所述物体检测框内的所述特征图上的所述特征裁出；

所述外部记忆输入模块根据所述物体检测框的置信度进行所述特征的选择；

如果所述物体检测框的所述置信度高于设定的阈值，则将位于所述物体检测框内的所述特征图上的所述特征输入所述外部记忆模块中；

如果所述外部记忆模块中存在与输入的所述外部记忆模块中的所述特征相似的特征，则根据点积注意力机制留下置信度最高的所述特征，去除置信度不是最高的所述特征；

视频检测模型的检测方法包括以下步骤：

步骤1、按时间顺序输入视频帧，所述视频检测模型对所述视频帧按帧提取卷积特征，形成所述视频帧的深度卷积网络特征图；

步骤2、所述外部记忆模块读入所述步骤1中形成的所述深度卷积网络特征图，进行所述点积注意力的操作，形成所述点积注意力矩阵，并根据所述点积注意力矩阵将所述外部记忆模块中的所述卷积特征聚合到所述深度卷积网络特征图上；

步骤3、经过聚合的所述深度卷积网络特征图被用于所述物体检测模块进行物体检测，输出所述视频帧的物体边框和置信度；

步骤4、所述外部记忆输入模块根据检测出的所述物体边框，将所述置信度大于设定的阈值的所述物体边框内的所述卷积特征从经过聚合的所述深度卷积网络特征图上裁处并输入到所述外部记忆模块中；

步骤5、继续检测下一帧，直到视频结束。

2.如权利要求1所述的基于物体导向的外部记忆模块的视频检测模型，其特征在于，所述外部记忆输出模块根据所述特征图的所述点积注意力从所述外部记忆模块中的所述特征中选择与所述特征图相关的所述特征，并输出到所述特征图中。

3.如权利要求2所述的基于物体导向的外部记忆模块的视频检测模型，其特征在于，所述特征图来自于一帧图像；所述特征图为深度卷积网络特征图；所述特征为卷积特征。

4.如权利要求3所述的基于物体导向的外部记忆模块的视频检测模型，其特征在于，所述一帧图像来自于视频；所述视频包含多帧图像；所述多帧图像按照时间顺序排列。

5.如权利要求1所述的基于物体导向的外部记忆模块的视频检测模型，其特征在于，所述特征存储矩阵中所存储的所述特征的数量可变。

6.如权利要求1所述的基于物体导向的外部记忆模块的视频检测模型，其特征在于，在所述步骤3中还输出所述视频帧的物体种类。

7.如权利要求1所述的基于物体导向的外部记忆模块的视频检测模型，其特征在于，在开始步骤5之前，所述方法还进行如下判断：如果所述外部记忆模块中存在与输入的所述外部记忆模块中的所述卷积特征相似的特征，则根据点积注意力机制留下置信度最高的所述卷积特征，去除置信度不是最高的所述卷积特征。