[发明专利]一种面向海量图片数据的重复数据删除方法

说明书

本发明公开了一种面向海量图片数据的重复数据删除方法，涉及计算机存储领域。该方法包括：根据文件后缀名识别文件类型，将图片文件的位图矩阵数据读入内存；对位图矩阵按基于图片尺寸的分块算法进行分块；用传统的唯一块判定方法或相似性判定方法判定数据块是唯一块还是冗余块；若为冗余块，则将其删除，否则根据原图片文件类型选择对应的图片压缩算法对该数据块进行压缩，然后将其存入系统。本发明提供的技术方案适用于海量图片数据去重环境，能大大缩减其实际存储的数据量。

技术领域

本发明涉及数据存储研究领域，特别涉及一种面向海量图片数据的重复数据删除方法。

背景技术

随着计算机网络的发展，信息的呈现方式已逐渐转变为图片为主、文字为辅。目前社交网站、购物网站等均含有大量图片信息，这类信息在网络中呈现爆炸式增长，如何有效地存储和管理这些图片数据成为存储领域的一个热点。

重复数据删除技术能够有效减少存储系统中的冗余数据，但是现有技术对图片文件的去重效果欠佳。经研究发现，其主要原因是常见的图片文件均为压缩文件，压缩过程会使数据的二进制流发生改变，从而使原本具有冗余性的数据不再具有冗余性。

因此，研究一种能针对图片文件压缩前的数据去重的方法，则能在一定程度上提高去重率，具有重要的应用价值。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种面向海量图片数据的重复数据删除方法，该方法通过将图片文件解压，针对解压后的像素矩阵数据进行分块去重，能大大缩减其实际存储的数据量。

本发明的目的通过以下的技术方案实现：一种面向海量图片数据的重复数据删除方法，包括步骤：

(1)文件过滤：对文件类型和文件大小进行过滤；

(2)过滤后的文件类型识别与数据读取：根据文件后缀名识别图片文件类型，根据类型获取其位图矩阵数据并读入内存；

(3)对位图矩阵数据进行分块；

(4)判断分块后的各个数据块是唯一块还是冗余块，若为冗余块，则将其删除，否则执行步骤(5)；

(5)根据原图片文件类型，用相应的图片压缩方法对唯一块进行压缩存储。

本发明所针对的文件具体是指后缀名为jpg、png、bmp等格式的图片文件，若非图片文件，则可按传统的重复数据删除方法进行去重。同时计算图片文件大小，若文件大小小于某个阈值，则将图片文件整体视为一个数据块，按传统的重复数据删除方法进行去重。本发明是针对文件较大的图片文件提出的处理方法。

优选的，所述步骤(2)中，若图片文件类型为压缩格式文件，则采用相应的解压算法将其解压，然后获得其位图矩阵数据，若为非压缩格式，则直接读取其位图矩阵数据；其中若图片文件类型为jpg格式文件，则在解压的同时计算文件元数据包含的亮度量化表的所有元素的和。

优选的，所述步骤(2)中的数据读取与步骤(3)中的分块过程采用多线程并行的方式，即并行读取多个图片文件的位图矩阵数据，对同一个位图矩阵采用多个线程并行地对矩阵不同区域进行分块。通过以上方法达到减少时间开销的目的。

优选的，所述步骤(3)对位图矩阵数据进行分块，采用一种基于图片尺寸的分块方法，步骤如下：

(3-1)获取图片的宽和高，以及可根据实际需求进行调节的默认块边长，用X表示最终用于分块的边长，执行步骤(3-2)；

(3-2)若图片宽或高小于默认块边长，则X等于图片高、宽中的更小者，执行步骤(3-4)，否则执行步骤(3-3)；