[发明专利]一种面向海量图片数据的重复数据删除方法

摘要

本发明公开了一种面向海量图片数据的重复数据删除方法，涉及计算机存储领域。该方法包括：根据文件后缀名识别文件类型，将图片文件的位图矩阵数据读入内存；对位图矩阵按基于图片尺寸的分块算法进行分块；用传统的唯一块判定方法或相似性判定方法判定数据块是唯一块还是冗余块；若为冗余块，则将其删除，否则根据原图片文件类型选择对应的图片压缩算法对该数据块进行压缩，然后将其存入系统。本发明提供的技术方案适用于海量图片数据去重环境，能大大缩减其实际存储的数据量。

主权项

1.一种面向海量图片数据的重复数据删除方法，其特征在于，包括步骤：(1)文件过滤：对文件类型和文件大小进行过滤；步骤是：(1-1)读取备份流中的一个文件，根据文件后缀名判断文件是否为图片文件；(1-2)若非图片文件，则按一般重复数据删除流程对文件进行去重，一般重复数据删除流程为：基于文件二进制流进行分块，计算数据块的哈希指纹，通过在指纹数据库中查找该指纹来判断数据块是否冗余，若数据块冗余，则将其删除，若数据块为唯一块，则将其存入系统，并将指纹添加到指纹数据库；(1-3)若是图片文件，则执行步骤(1-4)；(1-4)计算图片文件大小，若文件小于预设值，则将文件整体视为一个数据块，计算其哈希指纹，通过查找指纹数据库判断该文件是否冗余，若文件冗余则将其删除，否则将其存入系统，并添加文件指纹到指纹数据库；否则执行步骤(2)；(2)过滤后的文件类型识别与数据读取：根据文件后缀名识别图片文件类型，根据类型获取其位图矩阵数据并读入内存；(3)对位图矩阵数据进行分块；(4)判断分块后的各个数据块是唯一块还是冗余块，若为冗余块，则将其删除，否则执行步骤(5)；(5)根据原图片文件类型，用相应的图片压缩方法对唯一块进行压缩存储。