[发明专利]一种重复数据删除方法和装置

说明书

本发明公开了一种重复数据删除方法和装置，应用于数据处理技术领域。本发明中通过处理器调用存储器中储存的程序，将待处理数据划分成多个数据流，这样硬件加速器就可以同时分别计算这些数据流所包括的数据块的标识信息，然后再由处理器根据这些标识信息进行重复数据删除处理。由于本发明中重复数据删除装置可以将待处理数据划分成多个数据流，进而并行对这些数据流进行重复数据删除的处理，可以提高重复数据删除的效率；另外，本发明中，在实现重复数据删除过程中的部分功能时采用硬件结构来实现，而不是通过调用程序的软件实现，可以有效地提高重复数据删除流程的效率。

技术领域

本发明涉及数据处理技术领域，特别涉及重复数据删除方法和装置。

背景技术

目前，网络中的数据总量呈现指数级增长，这不仅需要耗费越来越多的网络带宽传输数据，同时还需占用巨大的数据存储空间。为降低计算机数据存储系统和计算机网络的总体拥有成本（英文：Total Cost of Ownership，缩写：TCO），企业纷纷开始采用重复数据删除技术。

重复数据删除（Data deduplication）技术目前已成为计算机系统领域的一项主流且极为重要的技术。其工作原理为从数据流中识别出重复数据，只保留重复数据的一个备份，删除其它冗余数据，在删除重复数据的位置以指针引用，从而节约大量的数据存储空间或网络带宽。如何快速进行重复数据删除是一个比较重要的问题。

发明内容

本发明提供重复数据删除方法和装置，提高重复数据删除的效率。

本发明第一方面提供一种重复数据删除装置，包括通过总线连接的处理器、存储器和硬件加速器，其中：

所述存储器，用于储存用于数据分类的第一程序，及用于数据去重的第二程序；

所述处理器，用于调用所述存储器中储存的第一程序，将待处理数据划分为N个数据流，并通过N个线程分别将所述N个数据流传送给所述硬件加速器；所述N为大于1的正整数；

所述硬件加速器，用于分别计算所述N个数据流中所包括的数据块的标识信息；

所述处理器，还用于调用所述存储器中储存的第二程序，根据所述硬件加速器计算的数据块的标识信息执行重复数据删除处理。

本发明第一方面的第一种可能实现方式中：

所述处理器，具体用于调用所述存储器中储存的第一程序后，根据如下信息中的至少一种将所述待处理数据划分为N个数据流：应用端口号，文件类型和应用类型。

结合本发明第一方面或第一方面的第一种可能实现方式，在本发明第一方面的第二种可能实现方式中，所述硬件加速器包括：N个原始数据缓冲区、数据分片模块和N个结果数据缓冲区；

所述N个原始数据缓冲区，用于分别缓冲所述处理器传送的N个数据流；

所述数据分片模块，用于分别对所述N个数据流进行分片得到每个所述数据流所包括的数据块，并分别计算每个数据块的标识信息；

所述N个结果数据缓冲区，用于分别缓冲所述数据分片模块计算的N个数据流所包括的数据块的标识信息。

结合本发明第一方面第二种可能实现方式，在本发明第一方面的第三种可能实现方式中，所述数据分片模块具体包括：确定子模块，第一数据分片子模块以及第二数据分片子模块，其中：

所述确定子模块，用于确定对每个数据流在执行重复数据删除处理时所需要的数据块的大小，并根据所述对每个数据流在执行重复数据删除处理时所需要的数据块的大小，将所述N个数据流分别发送给所述第一数据分片子模块或所述第二数据分片子模块；

所述第一数据分片子模块，用于对接收的数据流进行分片得到所述数据流所包括的数据块，使得每个数据块的大小为2的n次方，并分别计算所述数据流的每个数据块的标识信息；