[发明专利]一种重复数据删除方法和装置

摘要

本发明公开了一种重复数据删除方法和装置，应用于数据处理技术领域。本发明中通过处理器调用存储器中储存的程序，将待处理数据划分成多个数据流，这样硬件加速器就可以同时分别计算这些数据流所包括的数据块的标识信息，然后再由处理器根据这些标识信息进行重复数据删除处理。由于本发明中重复数据删除装置可以将待处理数据划分成多个数据流，进而并行对这些数据流进行重复数据删除的处理，可以提高重复数据删除的效率；另外，本发明中，在实现重复数据删除过程中的部分功能时采用硬件结构来实现，而不是通过调用程序的软件实现，可以有效地提高重复数据删除流程的效率。

主权项

1.一种重复数据删除装置，其特征在于，包括通过总线连接的处理器、存储器和硬件加速器，其中：所述存储器，用于储存用于数据分类的第一程序，及用于数据去重的第二程序；所述处理器，用于调用所述存储器中储存的第一程序，将待处理数据划分为N个数据流，并通过N个线程分别将所述N个数据流传送给所述硬件加速器；所述N为大于1的正整数；所述硬件加速器，用于分别计算所述N个数据流中所包括的数据块的标识信息；所述处理器，还用于调用所述存储器中储存的第二程序，根据所述硬件加速器计算的数据块的标识信息执行重复数据删除处理；其中，所述处理器，具体用于调用所述存储器中储存的第一程序后，根据如下信息中的至少一种将所述待处理数据划分为N个数据流：应用端口号，文件类型和应用类型；其中，所述硬件加速器包括：N个原始数据缓冲区、数据分片模块和N个结果数据缓冲区；所述N个原始数据缓冲区，用于分别缓冲所述处理器传送的N个数据流；所述数据分片模块，用于分别对所述N个数据流进行分片得到每个所述数据流所包括的数据块，并分别计算每个数据块的标识信息；所述N个结果数据缓冲区，用于分别缓冲所述数据分片模块计算的N个数据流所包括的数据块的标识信息，其中，一个结果数据缓冲区累计对一个数据流进行处理的处理结果。