[发明专利]一种基于深度激活显著区域的实例检索方法

说明书

一种基于深度激活显著区域的实例检索方法，涉及视觉实例检索。1)模型设计：模型包括前向传播模块、模式定位模块和特征提取模块；2)对于给定的图像数据库，数据库中每张图片都作为模型的输入，提取输出的实例定位结果和对应的实例级特征；3)对于每个查询图片，将其作为深度模式挖掘模块的前向传播部分的输入，进行区域性实例特征的提取，将该实例特征与模型在数据库图片上提取出的所有实例级特征进行相似度对比，每张数据库图片中相似度最高区域即为该图上实例检索的结果，该区域对应的相似度即为这张图片的相似度，数据库所有图片按照相似度从高到低依次排列，得到整个数据库的实例检索的结果。可应用于视频媒体的智能化检索、视频编辑。

技术领域

本发明涉及视觉实例检索，尤其是涉及可应用到互联网公司，视频媒体的智能化检索、视频编辑等领域的一种基于深度激活显著区域的实例检索方法。

背景技术

视觉实例检索(以下简称“实例检索”)通常被看作是图像检索的一个子任务。被检索的目标为一个视觉实例，通常通过框标注的形式在查询图片中给出。例如，检索一个特定的人或者一辆特定的车。实例检索需要在图像数据库中找出包含该查询实例的图片，并且给出图片中实例的位置。实例检索可以广泛应用到智能化商品检索、视频编辑等领域中，通过检索和定位特定实例来支持与该实例相关的任务，是当前图像数据处理领域通用且基本的技术。

目前，业界的主流技术都无法在进行实例检索的同时对实例进行定位，它们继承于传统图像检索技术，即对图像提取一个全局特征从而进行检索。一部分方法在全局图像的基础上直接进行全局特征的提取；还有一部分方法首先在图像上提取大量局部特征，再对局部特征进行聚合产生全局特征，来降低后续检索时直接比对局部特征所带来的大量计算消耗。采用全局特征进行检索时，整张图片里多个实例的特征混合到一起，导致无法对单一实例进行定位。同时由于混入了其他实例或者背景的特征，全局特征对于逐个实例的区分力和表达力严重下降。业界中为数不多的技术，采用了基于深度学习的目标检测或实例分割的框架，来解决视觉实例定位的问题。这些技术都是采用带有监督的训练方式来训练目标检测或者实例分割框架，在通过检测或分割取得物体定位后，在定位区域里取得实例级特征来进行检索。实例级的检索使得对检索实例的定位成为可能，但有监督的训练又不可避免地让对物体的定位只对训练数据集中的类别敏感，而对训练类别中没有的实例物体则无法进行定位和检索。

在实际应用场景中，查询的实例类别不能事先假定；另外，收集所有可能出现的视觉实例类别来用以训练是不现实的。因此，如何在仅拥有几千个物体类别的数据集合上训练，而可以找到训练类里没有出现的类别(未知类)实例，是本发明所关注解决的关键技术难题。

目前业界还没有既能进行实例定位又能对实例类别鲁棒的实例检索方法。

发明内容

本发明的目的在于针对使用深度激活的显著区域来解决未知类别实例的定位问题，提升实例检索任务中对于实例物体种类的鲁棒性，提供可应用到智能化的商品检索、视频编辑等领域的一种基于深度激活显著区域的实例检索方法。

本发明包括以下步骤：

1)模型设计：所述模型包括三部分，前向传播模块对深度模式进行挖掘，为模型的第一部分；模式定位模块主要负责激活显著区域并进行区域形状估计来定位实例，为模型的第二部分；特征提取模块通过区域池化提取实例级的特征，为模型的第三部分。将图片作为输入，输出图片中检测到的实例的定位信息及对应的特征，参与后续的检索部分；

2)数据预处理：对于给定的图像数据库，数据库中的每张图片都作为模型的输入，提取输出的实例定位结果和对应的实例级特征，保存以备用；