[发明专利]重复数据的处理方法

说明书

技术领域

本发明涉及一种重复数据的处理方法，特别涉及一种快速的重复数据的处理方法。

背景技术

重复数据删除是一种数据缩减技术，通常用于基于磁盘的备份系统，主要目的在于减少存储系统中使用的存储容量。它的工作方式是在某个时间周期内查找不同文件中不同位置的重复可变大小数据块。重复的数据块用指示符取代。由于存储系统中总是充斥着大量的冗余数据。为了解决这个问题，节省更多空间，重复删除的技术便顺理成章地成了人们关注的焦点。采用重复删除的技术可以将存储的数据缩减为原来的1/20，从而让出更多的备份空间，不仅可以使存储系统上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的频宽。

由于欲存储的数据都会被储存在服务器中，因此客户端需要时时的将数据传送至服务器。接着，服务器再对数据进行重复数据删除的处理。然而为了判断客户端欲备份的数据是否已储存在服务器的磁盘中，需要将相关的整个数据块加载记忆体，再读取整个数据块中的元数据(meta data)的部分。但不论此数据块是不是重复数据，都不会用到被加载记忆体的数据块中的原始数据(raw data)。

发明内容

本发明的目的在于提供一种重复数据的处理方法。重复数据的处理方法先将一储存文件分割成多个原始数据块(raw tank)以及多个元数据块(meta tank)，其中原始数据块以及元数据块为一对一对应，且每一个元数据块中存有对应的原始数据块的一储存指纹值(fingerprint)。接着接收一判断重复数据请求，其中判断重复数据请求包括一请求指纹值。重复数据的处理方法读取至少一个元数据块，并对比请求指纹值与读取的元数据块的储存指纹值。当请求指纹值与读取的元数据块的储存指纹值相同时，修改读取的元数据块的一引用计数值(referred counter)，并将修改过的元数据块回存。

其中每一个原始数据块可包括多个原始数据单元(raw chunk)，每一个元数据块可包括多个元数据单元(meta chunk)，且原始数据单元以及元数据单元为一对一对应。

根据一实施范例，储存文件可储存于一服务器的一磁盘，且修改过的元数据块可回存于磁盘。

“读取至少一个元数据块，并对比请求指纹值与读取的元数据块的储存指纹值”的步骤中，可先判断对应于请求指纹值的元数据块是否存在于一记忆体。当对应于请求指纹值的元数据块存在于记忆体时，读取记忆体中对应于请求指纹值的元数据块，并对比请求指纹值与读取的元数据块的储存指纹值。

“读取至少一个元数据块，并对比请求指纹值与读取的元数据块的储存指纹值”的步骤中，当对应于请求指纹值的元数据块不存在于记忆体时，可由磁盘将对应于请求指纹值的元数据块读入记忆体，并对比请求指纹值与读取的元数据块的储存指纹值。

根据另一实施范例，多个元数据块可被作为一分配组。“读取至少一个元数据块，并对比请求指纹值与读取的元数据块的储存指纹值”的步骤中则可先读取至少一个分配组，再对比请求指纹值与读取的分配组中的元数据块的储存指纹值。其中分配组的数据大小可以是16千字节(KB)的正整数倍。

此外，“改读取的元数据块的引用计数值，并将修改过的元数据块回存”的步骤中，可修改读取的元数据块的引用计数值，并将修改过的元数据块所对应的分配组回存。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为根据本发明一实施范例的服务器的示意图；

图2为根据本发明一实施范例的重复数据的处理方法的流程图；

图3为根据本发明一实施范例的元数据单元以及原始数据单元的示意图；

图4为根据本发明一实施范例的步骤S130的流程图；

图5为根据本发明一实施范例的分配组的示意图。

其中，附图标记

10客户端

20服务器

30记忆体

40磁盘

50储存文件

60，60A，60B，60C元数据块

62元数据单元

64分配组

70，70A，70B，70C原始数据块

72原始数据单元

具体实施方式

以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的内容、权利要求范围及附图，任何本领域技术人员可轻易地理解本发明相关的目的及优点。