[实用新型]一种基于协处理器的重复数据删除系统有效

专利信息
申请号: 201020537083.5 申请日: 2010-09-21
公开(公告)号: CN201804331U 公开(公告)日: 2011-04-20
发明(设计)人: 刘靖宇;周泽湘;武志民;孙志卓;谭毓安;何广韬 申请(专利权)人: 北京同有飞骥科技股份有限公司
主分类号: G06F15/167 分类号: G06F15/167;G06F9/50
代理公司: 暂无信息 代理人: 暂无信息
地址: 100081 北京市海*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 处理器 重复 数据 删除 系统
【说明书】:

技术领域

本实用新型涉及一种基于协处理器的重复数据删除系统,属于重复数据删除领域。

背景技术

随着信息技术的发展,数据已经成为各行业的基础和命脉,数据备份日益重要。在全量备份、增量备份和连续数据保护(CDP)等的数据备份过程中,产生的数据信息量呈爆炸式增长,数据占用空间越来越大。在过去的几年里,许多行业提供的存储系统容量从数十GB发展到数百TB,甚至达到PB级。随着数据量指数级的增长,管理保存数据的成本以及数据中心空间和能耗变得越来越严重。研究发现,在所保存的数据中,冗余部分高达60%,而且随着时间的推移,其所占比例越来越多。为了缓解存储系统的空间增长问题,缩减数据占用空间,降低成本,最大程度地利用已有资源,重复数据删除技术已成为一个热门的研究课题。一方面,利用重复数据删除技术可以对存储空间的利用率进行优化,以消除分布在存储系统中的相同文件或者数据块。另一方面,利用重复数据删除技术可以减少在网络中传输的数据量,进而降低能量消耗和网络成本,并为数据复制大量节省网络带宽。

由于CPU运行和I/O操作之间存在巨大的速度差异,为了追求更好的性能,传统的重复数据删除系统将精力放在如何减少磁盘访问上。但是,随着新的存储介质的出现,如SSD,这将不再成为瓶颈。另外,随着网络技术的发展,数据传输带宽显著增加,CPU不得不在重复数据删除过程当中更多地进行像SHA-1和数据压缩这样的计算。这可能使CPU成为新的瓶颈。如果CPU用于太多的高复杂性的计算任务,也会影响到IO调度。对于这样的趋势,一般的解决办法有两个:通过增加计算节点来协同分担计算压力和用专门的计算芯片来释放CPU的计算压力。利用更多的计算单元能明显的提高CPU性能并且拥有很好的可扩展性。但是,如何保证各个计算单元的数据一致性成为一个难题。利用专门的计算芯片不会存在数据一致性问题,但是过高的成本和较长的开发周期让这种做法变得让人难以接受。

协处理器是一种与CPU协同工作、辅助其完成特定计算任务的专用处理芯片或器件。协处理器作为一个处理单元,与CPU一起并行使用并承担通常由CPU执行的运算任务。协处理器往往会拥有很好的特定计算性能。例如浮点运算协处理器,它在执行时可以大幅度地加快浮点数值计算速度,把CPU的计算任务放到性能优越的协处理器上,CPU主要负责IO处理以及程序调度工作,可以很好的解决目前的CPU瓶颈。而且协处理器价格更低、节省能耗并且计算性能更好。

发明利用一种的协处理器,在重复数据删除系统中来减少CPU的计算压力,提供重复数据删除系统的工作效率,使系统具有更好的计算性能,更低的能耗,以及更低廉的价格。

发明内容

本实用新型的目的是为了解决传统重复数据删除系统的CPU用于太多的高复杂性的计算任务,会影响到IO调度等问题,而提供一种基于协处理器的重复数据删除系统。

本实用新型的目的是通过以下技术方案实现的;

本实用新型的一种基于协处理器的重复数据删除系统,包括:CPU、协处理器模块、动态随机存储器(DRAM)、存储设备;

协处理器模块包括命令处理模块、特征值计算模块、查询模块和信息反馈模块;

命令处理模块:主要用于缓存和解释由CPU发来的命令。

特征值计算模块:计算待处理数据块的特征值,是该处理器的核心模块。

查询模块:根据特征值计算模块的计算结果,在特征值表中查找,确定该数据是否为重复数据。

信息反馈模块:将查询模块的查找结果返回给CPU。

所述存储设备包括数据存储区和Hash库;Hash库内存储数据块的特征值表。

协处理器模块内部的命令处理模块、特征值计算模块、查询模块和信息反馈模块依次通过数据线连接;CPU通过数据线同时连接协处理器模块的命令处理模块和信息反馈模块,CPU、协处理器模块的命令处理模块和查找模块同时通过数据线连接DRAM;DRAM连接一个或并联多个的存储设备,且DRAM通过数据线同时与每个存储设备的数据存储区和Hash库连接。

本实用新型的工作原理如下:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京同有飞骥科技股份有限公司,未经北京同有飞骥科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201020537083.5/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top