[发明专利]支持重复数据删除程序的数据区块查询方法

说明书

技术领域

本发明涉及一种数据区块的查询方法，特别涉及一种支持重复数据删除程序的数据区块查询方法。

背景技术

重复数据删除是一种数据缩减技术，通常用于基于磁盘的备份系统，主要目的在于减少存储系统中使用的存储容量。它的工作方式是在某个时间周期内查找不同文件中不同位置的可变大小的重复数据块。重复的数据块用指示符取代。由于存储系统中总是充斥着大量的冗余数据。为了解决这个问题，节省还多空间，“重复删除”技术便顺理成章地成了人们关注的焦点。采用“重复删除”技术可以将存储的数据缩减为原来的1/20，从而让出还多的备份空间，不仅可以使存储系统上的备份数据保存还长的时间，而且还可以节约离线存储时所需的大量的带宽。

为能达到数据完整保存的目的，所以在进行重复数据删除的过程中，会对输入文件进行切分的处理。输入文件在经过切分处理后会产生多个数据区块。为了能有效管理数据区块，所以在进行切分的过程中会利用索引文件来记录所有的数据区块的各项存储信息。

客户端对整个输入文件进行了切分处理(定长或者变长)后，随即产生数据区块相应的哈希值。随后客户端向服务端发出查询请求，使用哈希值向服务端讯问是否已经存在有相同的哈希值。服务端会对每次查询请求在哈希索引表中进行搜索，然后通过网络返回查询结果。请参考图1所示，其为现有技术的查询数据区块的示意图。

当客户端110查询的数据量非常大时，哈希索引表也会随之剧增，有可能出现服务端120内存不足以存放哈希索引表，这样的话哈希索引表就要涉及到从文件存取速度较慢的存储设备进行查询，将会极大的拖缓整个系统的运行速度。

发明内容

鉴于以上的问题，本发明所要解决的技术问题在于提供一种支持重复数据删除程序的数据区块查询方法，应用在经过重复数据删除程序所产生的多笔数据区块，并对数据区块进行查询的处理，进而提高数据区块的查询速度。

为达到上述目的，本发明所揭露的支持重复数据删除程序的数据区块查询方法包括以下步骤：在服务端中储存哈希索引列表，在哈希索引列表中记录多组哈希值；客户端中加载输入文件，并产生相应输入文件的数据区块与相应每一数据区块的哈希值；客户端向服务端发送查询请求，在查询请求中记录相应数据区块的哈希值，用以向服务端查询是否存在有相同的哈希值；当服务端的哈希索引列表中未储存哈希值，则服务端向客户端发送储存要求，用以将哈希值所相应的数据区块传送至服务端中储存，并且服务端将所接收到的哈希值依序加入哈希索引列表中；对哈希索引列表中的哈希值建立相应的关联数据索引列表，并在关联数据索引列表中记录哈希值相关的其它哈希值；当服务端中储存哈希值，则服务端根据哈希值将相应的关联数据索引列表中的哈希值一并返回给客户端；客户端下一次查询数据区块的哈希值时，客户端从所接收的关联数据索引列表查询是否已存在哈希值；当客户端所接收的关联数据索引列表中已存在哈希值，则由关联数据索引列表中取得哈希值信息或哈希值相关数据块的描述信息，例如该数据块已经被引用次数，可根据引用需要进行增加；当客户端所接收的关联数据索引列表中不存在哈希值，则客户端向服务端进行哈希值的查询。

由于关联数据索引列表能够表明数据区块的关联性(前后关联)，而且在使用过程中服务端可以根据统计信息不断调整该联数据索引列表。所以可以在一定程度上保证客户端在本地内存中查询的命中率。服务端可以使用一次访问慢速存储设备的代价获得大量的相关记录，这样大大减少了客户端反复进行查询请求而引起服务端不断在慢速存储设备进行读取查询的问题。同时一次通过网络发送数据索引集也减少了网络中来回请求/确认而进行网络存取的耗时。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为现有技术的查询数据区块的示意图；

图2为本发明的架构示意图；

图3为本发明的运作流程示意图；

图4为本发明的记录相关数据索引集的示意图。

其中，附图标记

110 客户端

120 服务端

210 服务端

211 哈希索引列表

212 关联数据索引列表

220 客户端

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：