[发明专利]一种基于目标局部区域的图像检索方法

权利要求书

1.一种基于目标局部区域的图像检索方法，其特征在于，主要包括查询设定(一)；搜索过程(二)；训练方式(三)。

2.基于权利要求书1所述的查询设定(一)，其特征在于，根据用户输入自定义的文字描述待搜索的物体及其属性设定约束条件，具体共有3种方式：

1)根据待测物体在图像中所占比例大小，使用简易尺度条件描述物体宽度、两物体之间距离度；

2)使用交互界面，通过拖拽和缩放界面方框，锁定待测物体；

3)使用空间关系建议系统，根据初始化的查询及结果自动推断和建议相关的空间约束条件。

3.基于权利要求书2所述的空间关系建议系统，其特征在于，通过计算查询问题所对应的目标之间的空间关系，为筛选结果提供关键辅助信息，包括基于数据挖掘的建议和基于语言的建议。

4.基于权利要求书3所述的基于数据挖掘的建议，其特征在于，从初始化的搜索结果中，对于目标的空间关系进行典型模式的数据挖掘，具体为：

1)根据位置远近关系，使用k-均值聚类算法对区域目标进行聚类；

2)将聚类结果与查询问题进行映射匹配，通过交互界面重新获得所需目标位置。

5.基于权利要求书3所述的基于语言的建议，其特征在于，在筛选聚类中的目标时，使用一系列的位置关系约束条件，在保持召回率大于0.96的情况下，通过最小化每个区域目标通过这些约束条件所得到的虚警率，来得到这些约束条件的阈值。

6.基于权利要求书1所述的搜索过程(二)，其特征在于，包括制定数据库索引、制定搜索步骤。

7.基于权利要求书6所述的制定数据库索引，其特征在于，将图像分割成区域，提取基于局部区域的卷积神经网络特征，具体为：

1)提取特征：给定一个含有N幅图像的数据库，使用选择性搜索方法对每幅图像I_i(i＝1,…,N)提取n_i(n_i～2000)个不同的区域R_i,j(j＝1,…,n_i)，将这些区域图像块通过卷积神经网络结构，得到多任务快速区域卷积神经网络特征；

2)特征索引：对所有提取到的区域特征，使用相似最近邻搜索方法，对其进行倒序排列和点积量化操作，每个特征会被压缩成128位的点积量化代码进行分类。

8.基于权利要求书6所述的制定搜索步骤，其特征在于，在查询阶段指定n_o个目标，使用4个步骤使其对当前数据库符合要求的目标进行评分排序，得分最高的为搜索结果，具体为：

1)预处理目标级别查询：将每个目标(一个类别名或一幅图像中的感兴趣区域)视为查询问题，分别将类别名、图像或属性输送到支持向量机学习，其学习到的权重将作为评价分数，并且生成查询向量；

2)搜索区域：给定目标级别的查询向量，根据评价分数选择具有高分评价的目标，其中分数计算方式如下：①当查询问题为类别名和属性向量时，分数②当查询问题为图像中的感兴趣区域时，分数其中是训练权重，v^q是问题向量；

3)目标级别的结果融合：对于每幅图像I_i，其所有区域评分中的最高分将作为该幅图像的分数，所有根据查询问题得到的分数将累加成为最终分数；

4)基于位置条件的筛选：位置条件通过交互界面进行实时限定。

9.基于权利要求书7所述的多任务快速区域卷积神经网络特征，其特征在于，通过卷积神经网络所学习到的特征，将用于优化事件搜索、目标类别搜索和目标属性搜索三方面应用，具体串行或并行处理多任务的方式为：

1)叠加方式：全部任务按时间先后顺序进行串联处理；

2)联结方式：在预训练的网络中，各任务进行各自独立的卷积网络训练，然后将各自的输出特征合并，一起输入到全连接层；

3)融合方式：将卷积层分为两部分，首先各任务独立进行卷积网络训练，然后将各自的输出特征合并后，再经过一段卷积神经网络的训练，最后再输入到全连接层。

10.基于权利要求书1所述的训练方式(三)，其特征在于，首先对每个卷积神经网络进行单任务目标训练，得到各自独立的结构；使用联结方式和融合方式对上述独立结构进行训练，具体为，在每一次迭代过程，随机挑选一个任务，选取小批量的数据样本，通过全连接层计算其预测值与真实值之间的损失函数，再通过函数结果返回调整网络权值，从而完成一次迭代训练。