[发明专利]一种基于图像的重复数据删除方法及装置

说明书

技术领域

本发明涉及数据处理领域，特别是涉及一种基于图像的重复数据删除方 法及装置。

背景技术

重复数据删除技术是应用于存储系统的一种数据缩减技术，旨在减少存 储系统中使用的存储容量。通过查找不同文件中不同位置的重复可变大小数 据块。重复的数据块只保留其中一份，其它用指示符取代，从而消除冗余数 据，缩减存储的数据。高度冗余的数据集(例如备份数据)从数据重复删除 技术的获益极大，用户可以实现10比1至50比1的缩减比。

但是类似图像这类数据，本身经过压缩编码，单纯使用现有的重复数据 删除技术很难得到重删率，无法进行缩减。

发明内容

第一方面，本发明提供一种基于图像的重复数据删除方法，该方法包括：

获取待存储图像的像素矩阵；根据像素矩阵，分割待存储图像获得图像 分块，并获得图像分块的弱分块指纹；判断指纹库中是否存在与弱分块指纹 相同的弱参考指纹，当指纹库中存在与弱分块指纹相同的弱参考指纹时，获 取弱参考指纹；根据弱参考指纹从图像库中获取第一参考图像分块，根据第 一参考图像分块对图像分块进行压缩获得压缩图像分块，存储压缩图像分块； 当在指纹库中没有查找到与弱分块指纹相同的弱参考指纹，则将弱分块指纹 作为新的弱参考指纹存入指纹库，以及将弱分块指纹对应的图像分块存入图 像库。

优选地，上述方法还包括：获取图像分块的强参考指纹；判断指纹库中 是否存在与强分块指纹相同的强参考指纹，当指纹库中不存在与强分块指纹 相同的强参考指纹时，将强分块指纹作为新的强参考指纹存入指纹库；然后， 判断指纹库中是否存在与弱分块指纹相同的弱参考指纹。

优选地，上述方法还包括：比较压缩图像分块像素与弱图像分块像素， 若压缩图像分块像素大于图像分块像素，则存储图像分块。

优选地，根据像素矩阵，分割待存储图像得到图像分块，并获得图像分 块的弱分块指纹，包括：根据像素矩阵，获取水平滑动窗口和垂直滑动窗口 内的像素子矩阵，并计算像素子矩阵的弱分块指纹；当弱分块指纹满足指纹 边界条件时，将像素子矩阵作为图像分块并计算图像分块的强分块指纹。

优选地，指纹库用于存储多个强参考指纹和多个弱参考指纹，图像库用 于存储多个参考图像分块，且强参考指纹和弱参考指纹与参考图像分块均存 在对应关系。

第二方面，本发明提供一种基于图像的重复数据删除装置，包括：接收 模块用于接收待存储图像，获取待存储图像的像素矩阵；分块模块用于根据 像素矩阵，分割待存储图像获得多个图像分块，并获得图像分块的强分块指 纹和弱分块指纹；第一获取模块用于判断指纹库中是否存在与弱分块指纹相 同的弱参考指纹，当指纹库中存在与弱分块指纹相同的弱参考指纹时，获取 弱参考指纹，并根据弱参考指纹从图像库中获得第一参考图像分块；存储模 块用于根据第一参考图像分块对图像分块进行压缩获得压缩图像分块，存储 压缩图像分块。

优选地，该装置还包括第二获取模块，用于获取图像分块的强参考指纹， 判断指纹库中是否存在与强分块指纹相同的强参考指纹，当指纹库中不存在 与强分块指纹相同的强参考指纹时，将强分块指纹作为新的强参考指纹存入 指纹库，并产生第一获取信号，第一获取信号用于启动第一获取模块。

优选地，第一获取模块还用于：当指纹库中不存在与弱分块指纹相同的 弱参考指纹时，则第一获取模块将弱分块指纹作为弱参考指纹存入指纹库， 以及将弱分块指纹对应的图像分块存入图像库。

优选地，压缩图像分块像素大于图像分块像素。

优选地，水平滑动分割包括：第一步骤，根据像素矩阵，在待存储图像 的第一分割位置采用水平滑动窗口获得水平像素子矩阵，并获得水平像素子 矩阵的弱分块指纹，并执行第二步骤；第二步骤，判断弱分块指纹是否满足 指纹边界条件：若指纹满足指纹边界条件，则直接将水平像素子矩阵作为图 像分块；否则将水平滑动窗口从第一分割位置水平滑动至第二分割位置，执 行第三步骤；第三步骤，判断第二分割位置是否满足第一边界条件：若满足， 则获取水平滑动窗口在第二分割位置获得的像素矩阵作为图像分块，并获得 图像分块弱分块指纹，以及将水平滑动窗口移动至第三分割位置，执行第四 步骤；否则，将第二分割位置作为第一分割位置，并执行第一步骤；第四步 骤，判断第三分割位置是否满足第二边界条件：若满足，则停止分割；否则， 将第三分割位置作为第一分割位置，并执行第一步骤。