[发明专利]基于记忆机制前景感知建模的弱监督物体定位装置及方法

权利要求书

1.一种基于记忆机制前景感知建模的弱监督物体定位装置，包括：

特征提取模块，用于对输入图像进行特征提取形成特征图；

前景感知模块，用于对所述特征图内各特征进行分类，得到前景激活图；以及

目标定位模块，用于对所述前景激活图进行双线性插值得到类别激活图，然后对该类别激活图设置合理的阈值，找到能够覆盖响应区域的最大邻接矩形，完成最终定位；

前景记忆机制中存储了N个键值对，表示为和用来索引代表了N个前景模板，代表了对应模板的分类器参数，每个像素特征经过编码后生成维度为d的询问向量，表示为q_i，j，i＝1，2，...，H；j＝1，2，...，W，其中，H和W分别表示图像的高度和宽度，利用询问向量为每个像素点通过从记忆库中组合多个找出合适的分类器参数w_i，j，分类器参数通过线性加权得到，同时，询问向量和具有相同的维度，从而进行相似度度量用于加权利用分类器对每个像素特征x_i，j进行分类，可以得到前景激活图M中第i行第j列的值M_i，j，完整的前景激活图可以通过对每个像素进行相同的操作得到，

2.根据权利要求1所述的弱监督物体定位装置，还包括目标部件感知模块，用于根据所述特征图与所述前景激活图得到前景特征图，对其处理得到目标物体的特征，使所述最终定位更佳准确。

3.根据权利要求2所述的弱监督物体定位装置，其中，所述目标部件感知模块包括：

部件发现模块，用于捕捉所述前景特征图中各部件的特征，得到多个部件的注意力图；

部件的特征模块，用于根据所述多个部件的注意力图与所述前景特征图，得到目标的多个部件的特征性；

重要性预测模块，用于为多个部件的特征性中每一部件的特征性预测出一个重要性权重，得到目标物体的特征。

4.根据权利要求2所述的弱监督物体定位装置，其中，所述目标部件感知模块还用于将所述目标物体的特征进行分类。

5.根据权利要求1所述的弱监督物体定位装置，其中，所述特征提取模块使用了四种不同的骨干网络进行特征提取，分别是MobileNetV1，VGG16，InceptionV3以及ResNet50。

6.根据权利要求1所述的弱监督物体定位装置，其中，所述前景感知模块还包括：

模板单元，包括多个模板，用于所述特征图中各特征通过询问向量与所述模板进行对比得到前景特征；

分类器单元，包括多个分类器，用于对前景特征进行分类，得到所述前景激活图。

7.根据权利要求6所述的弱监督物体定位装置，其中，所述多个模板与多个分类器一一对应。

8.根据权利要求1所述的弱监督物体定位装置，其中，所述类别激活图与所述输入图像大小一致。

9.一种基于权利要求1至8任一项所述的弱监督物体定位装置的基于记忆机制前景感知建模的弱监督物体定位方法，包括：

操作S1：对输入图像进行特征提取形成特征图；

操作S2：对所述特征图内各特征进行分类，得到前景激活图；以及

操作S3：对所述前景激活图进行双线性插值得到类别激活图，然后对该类别激活图设置合理的阈值，找到能够覆盖响应区域的最大邻接矩形，完成最终定位。