[发明专利]一种基于数据频度的分类路由方法及装置

说明书

本发明公开了一种基于数据频度的分类路由方法及装置，涉及通信技术领域。包括：前置机收到的客户端发送的数据块以及所述数据块对应的指纹，将所述指纹映射到布隆过滤器上，当所述指纹与所述布隆过滤器内维护的数据块特征指纹一致时，将所述数据块特征指纹对应的频度信息递增1位；当所述频度信息大于等于设定阈值时，将所述频度信息通过所述数据块特征指纹对应的所述数据块确定为热点数据，将所述热点数据所在的超块确定为第一超块；对所述第一超块的代表指纹进行哈希取模，并将所述热点数据确定为无状态路由。

技术领域

本发明涉及通信技术领域，更具体的涉及一种基于数据频度的分类路由方法及装置。

背景技术

随着科技的飞速发展和社会的信息化，全世界每年产生的数据量迅速增长，存储空间尤其是企业的存储需求量也越来越大，对大数据的存储和备份需求甚至可以达到PB级别。因此，企业面临着巨大的数据存储压力，具体体现在较大的管理成本和存储开销上，如何降低存储使用量的问题已成为业界一个亟待解决的关键技术问题。

从2009年开始，以可扩展的吞吐量和容量为目标，产生了一些重复数据删除集群技术，其中最著名的是普林斯顿大学提出的重复数据删除集群，Extreme Binning和HYDRAstor等方案。具体地，普林斯顿大学基于Bloom Filter单节点重复数据删除系统提出了一种重复数据删除集群，该方法采用一种基于超块的数据路由算法，使用较大的超级块增大缓存的局部性，同时使用较小的块进行重复数据删除来获得更高的吞吐量；HYDRAstor是一个重复数据删除集群，以64KB的数据块为粒度，基于分布式哈希表将数据块路由到不同的重删服务器节点，并在节点内按照块粒度完成重复数据删除，这种技术采用块粒度可以较好的平衡去重率和计算与查询开销，但是未能充分利用集群重删系统内数据的局部性，而且数据块的粒度较大导致在节点内部进行重删时，所获得的重删率相对较低。

而在如何有效的解决集群中多节点重删的信息孤岛问题时，EMC通过利用数据局部性设计了基于超块的数据路由策略。它对数据块采用超块路由、细粒度数据块重删的方式来完成整个重删流程，这样既保证了数据的局部性和负载均衡，又保证了存储节点内的数据重删率。在这种方案中，EMC按照是否进行对已路由数据的信息查询，将数据路由策略分为有状态路由和无状态路由两类。无状态数据路由是指常规的基于分布式哈希表进行超块的数据路由，它能较好的平衡集群中的节点负载，但当集群规模比较大时数据重删率较低并且会影响到负载均衡的保证；而有状态路由中，超块在路由时需要查询其数据块与所有节点内已经存储的数据块的重复块数，然后在保证负载均衡的前提下选择重复数据块数最多的存储节点用于路由。这种方案能在保持数据分布均衡的前提下获得很高的去重率，但是花费了较大的查询和通信开销。

发明内容

本发明实施例提供一种基于数据频度的分类路由方法及装置，用以解决现有技术中存在有路由状态开销较大，影响了集群的重删性能，而无路由状态则无法保证重删率的问题。

本发明实施例提供了一种基于数据频度的分类路由方法，该方法包括：

前置机收到的客户端发送的数据块以及所述数据块对应的指纹，将所述指纹映射到布隆过滤器上，当所述指纹与所述布隆过滤器内维护的数据块特征指纹一致时，将所述数据块特征指纹对应的频度信息递增1位；其中，所述前置机内设置有布隆过滤器，所述布隆过滤器由多个字节组成，且所述布隆过滤器内维护有数据块特征指纹信息和与所述数据块特征指纹信息对应的频度信息；

当所述频度信息大于等于设定阈值时，将所述频度信息通过所述数据块特征指纹对应的所述数据块确定为热点数据，将所述热点数据所在的超块确定为第一超块；

对所述第一超块的代表指纹进行哈希取模，并将所述热点数据确定为无状态路由。

优选地，还包括：