[发明专利]基于深度哈希网络和子块重排序的大规模图像子块检索方法

说明书

本发明公开了一种基于深度哈希网络和子块重排序的大规模图像子块检索方法，包括以下步骤：准备已通过大规模图像数据库预训练的深度网络权重和待训练的纹理图片库；在纹理图片库中抽取图片对，当两张图片相同标签，则定为正样本，不同标签的两张图片作为负样本；将图片对输入两个相同的共享权值网络中进行两两训练，并通过设定损失函数使得网络输出结果二值化；将网络作为哈希码提取器，从而快速获得相似图片；将相似图片进行子块重排序后，对原图中的子块进行快速映射，从而获得大量相似子块。该方法极大节省计算量，实现大规模图像子块的快速检索，可应用于图像增强的各类方法中。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于深度哈希网络和子块重排序的大规模图像子块检索方法。

背景技术

图片充斥于现代生活的方方面面，随着网络技术的进步和网络的普及，图像这种包含了大量信息的传播媒介呈现出爆发性增长的趋势。人们不再满足于简单的阅读文字或者聆听声音，图片能够给予更加丰富的信息和更加直观的感受，对于信息的传播也能够赋予更加主观化的体验。然而图像这种媒介虽然有着许多优点，但是由于本身对传输的要求高，也更容易存在失真等情况，当网络情况波动，传输的图片往往只有较低的分辨率或者覆盖了噪声，对体验造成恶劣的影响。

由于图片失真和网络波动存在的普遍性，可靠且高效的图像处理算法变得越来越重要，例如当网络条件不够传输高分辨率图片时，可以在客户端将低分辨率图片进行处理，复原为高分辨率图片，当图片受到噪声污染时，也可以利用去噪方法将其恢复为清晰图片。近年来，在图像处理领域，利用局部图像子块的方法高效且流行，其核心方法在于从原图中提取大量具有重叠性的小尺度图像子块，并在处理后堆叠回原图位置，本质是利用了相邻图像子块存在于高度结构化的几何空间的性质。然而这种非局部提取图像子块的方法，在一些没有重复图片模式或者强纹理的图片中，很难找到足够多的相似图像子块作为互补充对象，这将会导致非局部图像处理方法效果的变差。为了弥补这个问题，目前亟待需要将传统的在原图中寻找图像子块的行为扩充到在数据库的范围中寻找图像子块，从而确保找到更多更相近的图像子块，为后续的图像处理算法完成最基础最重要的准备步骤。

面对大规模图像子块检索的问题，首先要解决的是数据规模，一张512*512大小的图片，如果按照7*7大小密集采样图像子块，那么会获得256036张图像子块，在单一图片中寻找近似子块的计算量还能接受，那么扩展到多幅图像甚至数据库的规模，那就完全无法接受了。现有的图像检索方法主要针对图像级别，很少有涉及到图像子块级别的检索，由于图像子块本身尺度小，难以包含高层信息。如果单纯采取密集切割并且暴力求取近邻的方法，效率过低；常用最近邻方法，如著名的k-d树，在如此大规模的数据面前，效率会急剧下降；哈希方法面对包含信息量过小的图像子块，很难有所提升，均不符合实际应用。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，寻找一种面对大规模图像子块数据同时保持高效率的子块检索方法，从而确保后续的各类图像处理算法有充足的相似子块选择，保证后续算法的效果。

本发明的目的可以通过采取如下技术方案达到：

一种基于深度哈希网络和子块重排序的大规模图像子块检索方法，所述的大规模图像子块检索方法包括下述步骤：

S1、数据准备，准备已通过大规模图像数据库预训练的深度网络权重和待训练的纹理图片图片库；

S2、训练样本挑选，通过预处理、正负样本构建和困难样本挖掘，选出具有代表性的训练样本；

S3、通过搭建网络结构和构造损失函数训练基于图像外观相似性的深度哈希网络，保存训练完成的网络参数；

S4、图像子块重排序，以深度哈希网络作为哈希码提取器，将图片中的所有子块排成队列，其中相似子块聚集在一起

S5、通过连续敏感哈希，对两张图片进行子块之间的快速映射，并将子块队列链接进来，实现快速定位。