[发明专利]一种基于图像边缘检测的图像分块去重方法和系统

说明书

本发明公开了一种基于图像边缘检测的图像分块去重方法和系统，属于计算机存储领域。本发明在图片在二维像素矩阵的状态下进行分块，并利用均值哈希算法计算小块的标识，避免了编码对去重造成的影响。图片的均值哈希算法则用于计算小图片块的指纹，从而判断小图片块是否重复。算法简单计算速度快，对内容敏感。对于两张相似冗余度很高的图片，分块操作将它们完全相同的部分与存在差异的部分进行了分割，完全相同的部分作为冗余块被去掉，存在差异的部分则被保留下，从而实现了图片的去重。本发明利用图像边缘检测技术来确定分块方式，同样均匀分块的条件下，分块效果实现了画面中主要物体分离的分块方式最终实现的去重率最高。

技术领域

本发明属于计算机存储技术领域，更具体地，涉及一种基于图像边缘检测的图像分块去重方法和系统。

背景技术

随着互联网与其应用的飞速发展，后台服务提供者们的信息存储系统的中的数据量正在爆炸式的增长，其存储成本随之增加。数据去重技术是一种数据无损压缩技术，由于其具有可扩展性强和压缩吞吐率高等特点，目前已被广泛地应用在数据存储与备份系统中。数据去重技术是将存储的文件在数据流格式下进行划分为多个数据块，并采用特定的算法对数据块进行其指纹摘要的计算，计算得到的指纹摘要则是作为数据块的唯一标识，用以匹配确定重复数据块。数据去重技术能够显著降低存储空间开销，从而达到降低存储成本的目的。

现有技术存在一种文件分块去重技术，其本质上是在一维的文件流上进行分块，通过特定的算法生成文件块的标识，从而确定重复的文件块，并将重复的文件块去掉。图片本身是二维的，它在被传递或者存储前会被编码压缩为一维的文件。同一张图片如果采用不同编码压缩方式，最后得到的文件流会是完全不同的，使用文件分块去重技术将达不到去重的目的。除此之外，对于连拍图片等图片数据，它们两张图片之间本身就存在大量的相同感知信息，但是由于内容上的细微差异它们在编码流上也是不同的，使用文件分块去重技术也达不到去重的目的。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于图像边缘检测的图像分块去重方法和系统，其目的在于利用图像的检测算法提取图片的内容信息，根据图片的内容信息确定图片的分块方式，再利用图片均值哈希算法计算出图片块的唯一标识指纹，以此判断图片块是否为重复图片块，实现对感知高度相似而在编码数据流上并不相同的图片数据集(例如，连拍图片数据集)中的图片进行数据去重，从而达到减小图片集的总存储空间、节约存储成本的目的。

为实现上述目的，按照本发明的第一方面，提供了一种基于图像边缘检测的图像分块去重方法，该方法包括以下步骤：

S1.从相似图片集中随机选取一张图片作为代表图片，对代表图片进行边缘检测，得到不同物体的边缘位置信息，初始化指纹库为空；

S2.对相似图片集中每一张图片进行以下处理，直至所有图片均处理完毕：

(1)利用代表图片得到的物体的边缘位置信息，对相似图片集中的当前图片进行分块，使得分块后的每个图片块尽可能只包含一个物体；

(2)计算每个图片块的指纹，每计算出一个图片块的指纹后遍历指纹库，判断当前图片块的指纹是否已经存在，若存在，则不保存该图片块；若不存在，则保存该图片块，并将图片块的指纹加入指纹库。

优选地，对代表图片进行边缘检测，得到不同物体的边缘位置信息，具体如下：

①对代表图片进行边缘检测，检测出具有完整边缘的物体，以及，检测出的边缘和图片边缘形成完整闭环的物体；

②获取所有边缘像素点的色彩RGB值；

③对每两个边缘像素点进行以下判断，直至所有边缘像素点处理完毕：如果两个边缘像素点的色彩RGB值之间的汉明距离大于第一阈值且这两个像素位置的汉明距离大于第二阈值，则认为这两个边缘像素分别属于两个物体，否则，认为属于同一个物体；