[发明专利]一种重复数据删除方法和装置

权利要求书

1.一种重复数据删除装置，其特征在于，包括通过总线连接的处理器、存储器和硬件加速器，其中：

所述存储器，用于储存用于数据分类的第一程序，及用于数据去重的第二程序；

所述处理器，用于调用所述存储器中储存的第一程序，将待处理数据划分为N个数据流，并通过N个线程分别将所述N个数据流传送给所述硬件加速器；所述N为大于1的正整数；

所述硬件加速器，用于分别计算所述N个数据流中所包括的数据块的标识信息；

所述处理器，还用于调用所述存储器中储存的第二程序，根据所述硬件加速器计算的数据块的标识信息执行重复数据删除处理；

其中，所述处理器，具体用于调用所述存储器中储存的第一程序后，根据如下信息中的至少一种将所述待处理数据划分为N个数据流：应用端口号，文件类型和应用类型；

其中，所述硬件加速器包括：N个原始数据缓冲区、数据分片模块和N个结果数据缓冲区；

所述N个原始数据缓冲区，用于分别缓冲所述处理器传送的N个数据流；

所述数据分片模块，用于分别对所述N个数据流进行分片得到每个所述数据流所包括的数据块，并分别计算每个数据块的标识信息；

所述N个结果数据缓冲区，用于分别缓冲所述数据分片模块计算的N个数据流所包括的数据块的标识信息，其中，一个结果数据缓冲区累计对一个数据流进行处理的处理结果。

2.如权利要求1所述的装置，其特征在于，所述数据分片模块具体包括：确定子模块，第一数据分片子模块以及第二数据分片子模块，其中：

所述确定子模块，用于确定对每个数据流在执行重复数据删除处理时所需要的数据块的大小，并根据所述对每个数据流在执行重复数据删除处理时所需要的数据块的大小，将所述N个数据流分别发送给所述第一数据分片子模块或所述第二数据分片子模块；

所述第一数据分片子模块，用于对接收的数据流进行分片得到所述数据流所包括的数据块，使得每个数据块的大小为2的n次方，并分别计算所述数据流的每个数据块的标识信息；

所述第二数据分片子模块，用于对接收的数据流进行分片得到所述数据流所包括的数据块，使得每个数据块的大小为非2的n次方，并分别计算所述数据流的每个数据块的标识信息。

3.如权利要求2所述的装置，其特征在于，所述第一数据分片子模块以及所述第二数据分片子模块分别包括：

滑动窗口计算模块，用于在对数据流分片时,计算沿着所述数据流滑动的固定大小的滑动窗口内的数据的指纹；

分片点计算模块；用于当所述当滑动窗口计算模块计算的指纹满足预置条件时，将所述滑动窗口的位置作为所述数据流所包括的数据块的分片点；

所述指纹计算模块，用于计算所述数据流的每个数据块的数据指纹作为所述每个数据块的标识信息，并将所述数据流的每个数据块的数据指纹传送给所述数据流对应的结果数据缓冲区。

4.一种重复数据删除方法，其特征在于，应用于如权利要求1至3任一项所述的重复数据删除装置中，所述方法包括：

处理器调用存储器中储存的第一程序，将待处理数据划分为N个数据流，并通过N个线程分别将所述N个数据流传送给硬件加速器；所述N为大于1的正整数；

硬件加速器分别计算所述N个数据流中每个数据流所包括的数据块的标识信息；

所述处理器调用所述存储器中储存的第二程序，根据所述硬件加速器计算的所述数据块的标识信息执行重复数据删除处理；

其中，所述将待处理数据划分为N个数据流，具体包括：

根据如下任信息中的至少一种将所述待处理数据划分为N个数据流：应用端口号，文件类型和应用类型。

5.如权利要求4所述的方法，其特征在于，所述硬件加速器分别计算所述N个数据流中所包括的数据块的标识信息，具体包括：

所述硬件加速器分别对所述N个数据流进行分片得到每个所述数据流所包括的数据块；并分别计算每个数据块的标识信息。