[发明专利]一种针对相同及相似图片去重的图像数据清洗方法

摘要

本发明公开了一种针对相同及相似图片去重的图像数据清洗方法，包含图像预处理模块和相似图像去重模块；图像预处理模块包括图像数据集合、生成路径文件和生成特征文件；相似图像去重模块包括图象特征相似度计算、相似判别和去重。本发明在对图片生成特征值的时候考虑了图片的局部性因素，并对图片的局部特征值与全局平均值作比较得出最终的二值化图片特征，这样得出的图片特征值能够很好的保留图片的局部特征信息，同时也很好的保留了每个局部块之间的关系，即使图片在局部发生改变、或者整体对比度亮度发生一定程度的改变，其与原图片之间具有的高度相似性都会被发现，因此该方法在很大程度上提高了对图像数据中相似图片去重的效率和精度。

主权项

一种针对相同及相似图片去重的图像数据清洗方法，其特征在于：包含图像预处理模块和相似图像去重模块；所述图像预处理模块包括图像数据集合、生成路径文件和生成特征文件；所述相似图像去重模块包括图象特征相似度计算、相似判别和去重；所述一种针对相同及相似图片去重的图像数据清洗方法还包含如下步骤：(1)遍历待检测设备中的所有图像数据，生成图像数据集合；(2)根据所述图像数据集合的路径信息生成路径文件；(3)根据所述路径文件，依次读取每张图片，对每张图片进行特定值处理，生成特征文件，并将所有图片的特征文件存入内存或文件；(4)读取保存有所有图片的特征文件的内存或文件，对所有的特征文件进行图像特征相似度计算，根据计算结果进行相似判别，判别图像是否属相同或相似，并将相似和相同的图片找出并完成去重，最后输出清洗后的图像数据集合。