[发明专利]一种针对相同及相似图片去重的图像数据清洗方法

权利要求书

1.一种针对相同及相似图片去重的图像数据清洗方法，其特征在于：包含图像预处理模块和相似图像去重模块；所述图像预处理模块包括图像数据集合、生成路径文件和生成特征文件；所述相似图像去重模块包括图象特征相似度计算、相似判别和去重；

所述一种针对相同及相似图片去重的图像数据清洗方法还包含如下步骤：

(1)遍历待检测设备中的所有图像数据，生成图像数据集合；

(2)根据所述图像数据集合的路径信息生成路径文件；

(3)根据所述路径文件，依次读取每张图片，对每张图片进行特定值处理，生成特征文件，并将所有图片的特征文件存入内存或文件；

(4)读取保存有所有图片的特征文件的内存或文件，对所有的特征文件进行图像特征相似度计算，根据计算结果进行相似判别，判别图像是否属相同或相似，并将相似和相同的图片找出并完成去重，最后输出清洗后的图像数据集合。

2.根据权利要求1所述的一种针对相同及相似图片去重的图像数据清洗方法，其特征在于：所述步骤(3)中所述特定值处理还包括如下步骤：

a.将图片转换为灰度图像；

b.将所述灰度图像划分为若干个相同大小的块，对图像的大小进行调整，将每个块缩小为一个像素点；

c.计算压缩后所有像素点的均值；

d.将每个压缩像素值与均值作比较，根据与均值的大小关系对压缩像素值做二值化处理；

e.将二值化后的压缩像素值作为图像特征值写入文件，图像路径和图像特征值逐行写入，即奇数行存储图像路径，偶数行存储对应的图像特征值。

3.根据权利要求1所述的一种针对相同及相似图片去重的图像数据清洗方法，其特征在于：所述步骤(4)中所述图像特征相似度计算的方法还包括：设定一个阈值，对所有图像数据的特征值进行海明距离的计算，若海明距离小于或等于这个阈值，则认为两图片相似，予以去重处理。