[发明专利]一种基于目标局部区域的图像检索方法

说明书

技术领域

本发明涉及图像检索领域，尤其是涉及了一种基于目标局部区域的图像检索方法。

背景技术

随着互联网每日产生海量图像，如何从大规模的图像数据集中检索到目标图像已经逐渐成为多媒体研究领域的重点与难点，并且在近年来得到了广泛的关注。一般地，检索方法先对图像数据文件进行关键字或者相关信息的描述，将图像文件与文本信息进行关联，检索时，用户使用关键字与存储的文本信息进行比较，找出相关联的图像文件作为检索结果并排序输出。图像检索能在网络图像搜索、医学图像挖掘、基于内容的视频检索、安全监控和不良图像过滤等领域得到广泛应用，具体地，建立数字图书馆可以将重要资料存储成图像格式进行更快速的查找和传输；在公安治安方面，对重点监控的嫌疑人进行人像归档，可以加快破案速度；在医疗领域，通过精细化地记录人体体内的扫描图像，有助于更有效地跟进并回访患者的治疗情况等等。

在图像检索的传统方法中仍然有局限性。具体为，1)人工标注的方法费时费力，随着互联网的不断发展，每天产生的图像数量非常巨大，面对海量的图像数据，单纯依赖人工标注是不可能的，因此图像检索、系统仅适用于有限范围的图像库管理；2)面对丰富多样的图像，少量的文字描述是很难完全表达出图像的内容，此外，人的主观意念更是直接影响了图像内容的理解，因此基于文本的图像检索并不能很好地反应出图像检索的本质。因此整体上看，基于区域的图像检索是较为困难的研究领域。

本发明提出了一种基于位置空间关系进行图像推荐的新框架，用户通过交互界面进入系统输入目标检测信息，系统先将数据库中的区域图像块进行索引添加，并且通过查询预处理、区域聚类、结果融合和位置筛选等操作进行目标区域的确定，接着通过基于空间关系的推荐系统去检索含有该目标物体或区域的图像，最后输出评分最高的图像作为结果。本发明可以处理多种具有同样或极度相似背景信息的图像，提供一个多任务卷积神经网络特征训练方式，同时提高了对细小区域或目标的检测精度，从而达到更好的检索效果。

发明内容

针对解决在大规模图像中进行目标图像检索的问题，本发明的目的在于提供一种基于目标局部区域的图像检索方法，用户通过交互界面进入系统输入目标检测信息，系统先将数据库中的区域图像块进行索引添加，并且通过查询预处理、区域聚类、结果融合和位置筛选等操作进行目标区域的确定，接着通过基于空间关系的推荐系统去检索含有该目标物体或区域的图像，最后输出评分最高的图像作为结果。

为解决上述问题，本发明提供一种基于目标局部区域的图像检索方法，其主要内容包括：

(一)查询设定；

(二)搜索过程；

(三)训练方式。

其中，所述的查询设定，根据用户输入自定义的文字描述待搜索的物体及其属性设定约束条件，具体共有3种方式：

1)根据待测物体在图像中所占比例大小，使用简易尺度条件描述物体宽度、两物体之间距离度；

2)使用交互界面，通过拖拽和缩放界面方框，锁定待测物体；

3)使用空间关系建议系统，根据初始化的查询及结果自动推断和建议相关的空间约束条件。

所述的空间关系建议系统，通过计算查询问题所对应的目标之间的空间关系，为筛选结果提供关键辅助信息，包括基于数据挖掘的建议和基于语言的建议。

所述的基于数据挖掘的建议，从初始化的搜索结果中，对于目标的空间关系进行典型模式的数据挖掘，具体为：

1)根据位置远近关系，使用k-均值聚类算法对区域目标进行聚类；

2)将聚类结果与查询问题进行映射匹配，通过交互界面重新获得所需目标位置。

所述的基于语言的建议，在筛选聚类中的目标时，使用一系列的位置关系约束条件，在保持召回率大于0.96的情况下，通过最小化每个区域目标通过这些约束条件所得到的虚警率，来得到这些约束条件的阈值。

所述的搜索过程，包括制定数据库索引、制定搜索步骤。

所述的制定数据库索引，将图像分割成区域，提取基于局部区域的卷积神经网络特征，具体为：

1)提取特征：给定一个含有N幅图像的数据库，使用选择性搜索方法对每幅图像I_i(i＝1,…,N)提取n_i(n_i～2000)个不同的区域R_i,j(j＝1,…,n_i)，将这些区域图像块通过卷积神经网络结构，得到多任务快速区域卷积神经网络特征；