[发明专利]基于图像全局和局部特征重排序的图像检索系统

说明书

本申请公开了基于图像全局和局部特征重排序的图像检索系统，包括数据存储单元、互联网单元、离线训练单元、在线查询单元和显示单元，所述离线训练单元和在线查询单元均与数据存储单元连接，所述离线训练单元和在线查询单元均与显示单元连接，所述离线训练单元和在线查询单元连接，所述数据存储单元、离线训练单元、在线查询单元和显示单元均与互联网单元连接。本申请将深度学习提取全局的特征和传统方法提取局部的特征结合起来应用到图像检索中，再利用Faiss向量进行快速查询，可以既快又好的将数据库中相同、相似的图片检索并加以排序出来。

技术领域

本申请涉及图像检索领域，尤其是基于图像全局和局部特征重排序的图像检索系统。

背景技术

在互联网行业繁荣的当今，每天都会产生海量的图片数据，这些数据很多是原创的，也有很多是重复的图片，这些重复的图片不仅可能涉及侵占原图的版权，也会占用互联网公司的大量资源，需要将这些重复图片检索出来并进行规避和删除。

现有的图像检索方法中分为两类，一类是先用传统手动局部提取特征的方法提取特征，再做特征相似度匹配，另一类是用深度学习模型提取图像特征的方法提取特征，再做特征相似度匹配，基于传统手动局部提取特征的方法：一方面手动提取的特征难以适应于不同的场景；另一方面手动提取的特征只关注局部，当前景不同，背景相同或相似，不重复的图片往往被误检为重复。基于深度学习模型提取图像特征的方法，常使用深度学习的分类模型提取特征，最初的目的是用来进行类别分类的，可以较好地将不同类别的图片进行分类，但在同类之间的特征的相似性较大，不便于直接用作检索。因此，针对上述问题提出基于图像全局和局部特征重排序的图像检索系统。

发明内容

在本实施例中提供了基于图像全局和局部特征重排序的图像检索系统用于解决现有技术中的现有的图像检索方法在同类之间的特征的相似性较大，不便于直接用作检索问题。

根据本申请的一个方面，提供了基于图像全局和局部特征重排序的图像检索系统，包括数据存储单元、互联网单元、离线训练单元、在线查询单元和显示单元，所述离线训练单元和在线查询单元均与数据存储单元连接，所述离线训练单元和在线查询单元均与显示单元连接，所述离线训练单元和在线查询单元连接，所述数据存储单元、离线训练单元、在线查询单元和显示单元均与互联网单元连接；

所述离线训练单元包括获取训练图片集模块、离线特征提取模块、粗筛模型构件模块和构建映射字典表模块，所述离线特征提取模块包括第一orb特征提取模块和第一solar global特征提取模块，所述在线查询单元包括图片获取模块、在线特征提取模块、加载粗筛模型模块、粗排检索模块、加载映射字典表模块、精排模型构建模块和精排检索模块，所述在线特征提取模块包括第二orb特征提取模块和第二solar global特征提取模块。

进一步地，所述第一orb特征提取模块和第二orb特征提取模块中的orb特征全称为，Oriented Fast and Rotated Brief，且每张图片选取160个orb特征向量，每个orb特征向量的维度是32维。

进一步地，所述第一solar global特征提取模块和第二solar global特征提取模块中的solar指《SOLAR:Second-Order Loss and Attention for Image Retrieval》一文中提出的图像检索的网络模型，global特征指全局特征。

进一步地，所述粗筛模型构件模块中的粗筛模型为faiss向量粗筛模型，所述构建映射字典表模块中的字典表是键值对，其中“键”是faiss向量粗筛模型中faiss的索引项，“值”中存放了orb的特征以及训练集图片的地址。

进一步地，所述图片获取模块中的图片包括本地图片和网络图片。

进一步地，所述加载粗筛模型模块加载的粗筛模型为粗筛模型构件模块中构建好的faiss向量粗筛模型。