[发明专利]一种重复数据确定方法、系统及分布式存储系统

说明书

技术领域

本发明涉及数据优化领域，特别涉及一种重复数据确定方法、系统及分布式存储系统。

背景技术

在数据备份领域，存储系统中不可避免的存在着大量的冗余数据，为了解决这个问题，节省更多空间，重复数据删除(data deduplication)技术是该领域的一种常用手段，它的目的是旨在减少存储系统中使用的存储容量。它的工作方式是在某个时间周期内查找不同文件中不同位置的重复可变大小数据块，重复的数据块用指示符取代。高度冗余的数据集从数据重复删除技术的获益极大，用户可以实现10：1至50：1的缩减比。在目前常见的重复数据删除技术当中，一般是先对数据块进行哈希(hash)运算得到存储系统中数据块的数据指纹，然后与预设的数据指纹库进行对比，由于上述数据指纹库中保存的数据指纹是存储系统中所有数据的数据指纹，所以导致上述指纹比对过程中通常需要展开大量的数据指纹作对比，从而导致存储系统中重复数据的确定速度非常慢，效率较低，由此进一步导致数据读写时间较长。

综上所述可以看出，如何进一步提升重复数据的确定速度是目前亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种重复数据确定方法、系统及分布式存储系统，可以快速确定存储系统当中的重复数据。其具体方案如下：

一种重复数据确定方法，应用于分布式存储系统，包括：

判断目标写入数据的数据指纹是否存在于预设的数据指纹字典中；其中，所述数据指纹字典为用于存储特定数据指纹的数据库，所述特定数据指纹为所述分布式存储系统中满足预设数据筛选条件的数据的指纹；

若所述目标写入数据的数据指纹存在于所述数据指纹字典中，则将所述目标写入数据确定为重复数据。

优选的，所述预设数据筛选条件为用于对所述分布式存储系统中数据类型与预设类型相一致的数据进行筛选的筛选条件。

优选的，所述预设数据筛选条件为用于从所述分布式存储系统中对被访问频率大于预设频率阈值的数据进行筛选的筛选条件。

优选的，所述预设数据筛选条件为用于从所述分布式存储系统中对数据安全系数大于预设系数阈值的数据进行筛选的筛选条件。

优选的，还包括：

将所述数据指纹字典预先存储于所述分布式存储系统的内存中。

相应的，本发明还公开了一种重复数据确定系统，应用于分布式存储系统，包括：

数据判断模块，用于判断目标写入数据的数据指纹是否存在于预设的数据指纹字典中；其中，所述数据指纹字典为用于存储特定数据指纹的数据库，所述特定数据指纹为所述分布式存储系统中满足预设数据筛选条件的数据的指纹；

数据确定模块，用于若所述目标写入数据的数据指纹存在于所述数据指纹字典中，则将所述目标写入数据确定为重复数据。

优选的，还包括：

第一字典创建模块，用于创建存储第一类特定数据指纹的数据指纹字典；

其中，所述第一类特定数据指纹为所述分布式存储系统中满足第一预设数据筛选条件的数据指纹，并且，所述第一预设数据筛选条件为用于对所述分布式存储系统中数据类型与预设类型相一致的数据进行筛选的筛选条件；

第一筛选单元，用于对所述分布式存储系统中数据类型与预设类型相一致的数据进行筛选。

优选的，还包括：

第二字典创建模块，用于创建存储第二类特定数据指纹的数据指纹字典；

其中，所述第二类特定数据指纹为所述分布式存储系统中满足第二预设数据筛选条件的数据指纹，并且，所述第二预设数据筛选条件为用于对所述分布式存储系统中对被访问频率大于预设频率阈值的数据进行筛选的筛选条件。

第二筛选单元，用于对所述分布式存储系统中对被访问频率大于预设频率阈值的数据进行筛选。

优选的，还包括：

第三字典创建模块，用于创建存储第三类特定数据指纹的数据指纹字典；

其中，所述第三类特定数据指纹为所述分布式存储系统中满足第三预设数据筛选条件的数据指纹，并且，所述第三预设数据筛选条件为用于对所述分布式存储系统中对数据安全系数大于预设系数阈值的数据进行筛选的筛选条件。

第三筛选单元，用于对所述分布式存储系统中对数据安全系数大于预设系数阈值的数据进行筛选。

优选的，还包括：

数据存储模块，用于将所述数据指纹字典预先存储于所述分布式存储系统的内存中。

进一步的，本发明还公开了一种分布式存储系统，包括前述公开的重复数据确定系统。