[实用新型]一种基于协处理器的重复数据删除系统

说明书

技术领域

本实用新型涉及一种基于协处理器的重复数据删除系统，属于重复数据删除领域。

背景技术

随着信息技术的发展，数据已经成为各行业的基础和命脉，数据备份日益重要。在全量备份、增量备份和连续数据保护(CDP)等的数据备份过程中，产生的数据信息量呈爆炸式增长，数据占用空间越来越大。在过去的几年里，许多行业提供的存储系统容量从数十GB发展到数百TB，甚至达到PB级。随着数据量指数级的增长，管理保存数据的成本以及数据中心空间和能耗变得越来越严重。研究发现，在所保存的数据中，冗余部分高达60％，而且随着时间的推移，其所占比例越来越多。为了缓解存储系统的空间增长问题，缩减数据占用空间，降低成本，最大程度地利用已有资源，重复数据删除技术已成为一个热门的研究课题。一方面，利用重复数据删除技术可以对存储空间的利用率进行优化，以消除分布在存储系统中的相同文件或者数据块。另一方面，利用重复数据删除技术可以减少在网络中传输的数据量，进而降低能量消耗和网络成本，并为数据复制大量节省网络带宽。

由于CPU运行和I/O操作之间存在巨大的速度差异，为了追求更好的性能，传统的重复数据删除系统将精力放在如何减少磁盘访问上。但是，随着新的存储介质的出现，如SSD，这将不再成为瓶颈。另外，随着网络技术的发展，数据传输带宽显著增加，CPU不得不在重复数据删除过程当中更多地进行像SHA-1和数据压缩这样的计算。这可能使CPU成为新的瓶颈。如果CPU用于太多的高复杂性的计算任务，也会影响到IO调度。对于这样的趋势，一般的解决办法有两个：通过增加计算节点来协同分担计算压力和用专门的计算芯片来释放CPU的计算压力。利用更多的计算单元能明显的提高CPU性能并且拥有很好的可扩展性。但是，如何保证各个计算单元的数据一致性成为一个难题。利用专门的计算芯片不会存在数据一致性问题，但是过高的成本和较长的开发周期让这种做法变得让人难以接受。

协处理器是一种与CPU协同工作、辅助其完成特定计算任务的专用处理芯片或器件。协处理器作为一个处理单元，与CPU一起并行使用并承担通常由CPU执行的运算任务。协处理器往往会拥有很好的特定计算性能。例如浮点运算协处理器，它在执行时可以大幅度地加快浮点数值计算速度，把CPU的计算任务放到性能优越的协处理器上，CPU主要负责IO处理以及程序调度工作，可以很好的解决目前的CPU瓶颈。而且协处理器价格更低、节省能耗并且计算性能更好。

本发明利用一种的协处理器，在重复数据删除系统中来减少CPU的计算压力，提供重复数据删除系统的工作效率，使系统具有更好的计算性能，更低的能耗，以及更低廉的价格。

发明内容

本实用新型的目的是为了解决传统重复数据删除系统的CPU用于太多的高复杂性的计算任务，会影响到IO调度等问题，而提供一种基于协处理器的重复数据删除系统。

本实用新型的目的是通过以下技术方案实现的；

本实用新型的一种基于协处理器的重复数据删除系统，包括：CPU、协处理器模块、动态随机存储器(DRAM)、存储设备；

协处理器模块包括命令处理模块、特征值计算模块、查询模块和信息反馈模块；

命令处理模块：主要用于缓存和解释由CPU发来的命令。

特征值计算模块：计算待处理数据块的特征值，是该处理器的核心模块。

查询模块：根据特征值计算模块的计算结果，在特征值表中查找，确定该数据是否为重复数据。

信息反馈模块：将查询模块的查找结果返回给CPU。

所述存储设备包括数据存储区和Hash库；Hash库内存储数据块的特征值表。

协处理器模块内部的命令处理模块、特征值计算模块、查询模块和信息反馈模块依次通过数据线连接；CPU通过数据线同时连接协处理器模块的命令处理模块和信息反馈模块，CPU、协处理器模块的命令处理模块和查找模块同时通过数据线连接DRAM；DRAM连接一个或并联多个的存储设备，且DRAM通过数据线同时与每个存储设备的数据存储区和Hash库连接。

本实用新型的工作原理如下：