[发明专利]一种基于hbase的数据散列处理方法及装置

说明书

技术领域

本发明涉及大数据处理领域，特别是涉及一种基于hbase的数据散列处理方法及装置。

背景技术

移动互联网时代，移动通信行业的用户行为数据量激增，数据分析领域采用先进的大数据技术进行数据分析和数据访问工作，如hbase。但在实际应用过程中往往会存在并行访问某批数据访问的问题，这主要是因为hbase在数据写入时使用了单调递增或者时序的key将访问热度高的数据聚集在一个region(物理节点)上，造成访问集中在该region上，无法发挥集群性能的目标。

对于HBASE的查询实现有两种方式：一种是按指定RowKey获取唯一一条记录的get方法，另一种是按照指定的条件获取一批记录的Scan方法。其中实现条件查询功能使用的是Scan方法，通过rowkey设计使批量获取记录集合在一起，可以提高条件查询的效率。但对于rowkey设计保证访问热度高的数据集合分散在集群节点中，避免集中访问的问题一直没有有效的方法。

目前，在大数据领域中，已经有hbase相关查询优化的方法，现有的hbase的查询优化方法存在如下缺陷：访问热度较高的数据集合存储能提高访问效率，但方法中没有涉及到访问热度高数据如何提高访问效率的方法，若访问热度高的数据集合在一个节点中，造成该节点的负载很高，降低了访问效率。

发明内容

本发明所要解决的技术问题是：提供一种基于hbase的数据散列处理方法及装置，能有效解决现有技术中访问热度高的数据集合在一个节点中，节点的负载高，访问效率低的问题。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于hbase的数据散列处理方法，包括步骤：将(hbase的)接口文件加载到HDFS分布式文件存储或装置中；将所述接口文件转换成HFILE存储格式；获取规范化处理后的接口文件中的各数据的KEY字段；根据每个KEY字段分别生成随机种子，并以(hbase的)物理存储节点的总数为除数对每个随机种子进行取模，获得节点编号；分别将每个KEY字段所对应的数据加载至节点编号所对应的物理存储节点。

为解决上述技术问题，本发明提供的另一技术方案为：

一种基于hbase的数据散列处理装置，包括第一加载模块、转换模块、取模模块和第二加载模块；所述第一加载模块用于将(hbase的)接口文件加载到HDFS分布式文件存储或装置中；所述转换模块用于将所述接口文件转换成HFILE存储格式；获取规范化处理后的接口文件中的各数据的KEY字段；所述取模模块用于根据每个KEY字段分别生成随机种子，并以(hbase的)物理存储节点的总数为除数对每个随机种子进行取模，获得节点编号；所述第二加载模块用于分别将每个KEY字段所对应的数据加载至节点编号所对应的物理存储节点。

本发明的有益效果在于：区别于现有技术中访问热度高的数据集合在一个节点中，节点的负载高，访问效率低，本发明通过将接口文件转换成HFILE存储格式(规范化处理)，以各数据的KEY字段生成随机种子，并对所述随机种子进行取模，根据取模的结果将所述各数据分散至各节点进行存储，因此将所述各数据均匀的分配至集群各节点上，均衡了各节点的访问压力，提高了节点访问效率。

附图说明

图1为本发明一实施方式基于hbase的数据分布装置的功能框图；

图2为本发明一实施方式一种基于hbase的数据散列处理方法流程图；

图3为本发明一实施方式一种基于hbase的数据散列处理装置的功能框图；

图4为本发明一实施方式一条接口数据加载和访问hbase场景的方法运行步骤流程图；

图5为本发明一实施方式基于hbase的数据散列处理方法步骤的详细示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：通过各数据的KEY字段生成随机种子，对随机种子取模，根据取模结果将数据分散至不同的节点，均摊访问压力，提高访问效率。

请参阅图1，为基于hbase的数据分布装置的功能框架图，流式计算数据分布装置各层具体说明如下：

获取层：负责将接口数据装载到HDFS(HADOOP分布式文件存储)中，并进行HFILE(HBase中KeyValue数据的存储格式)规范化；

处理层：负责HBASE表数据块的定义、接口数据的加载指引(落到HBASE哪个数据块中)、以及接口加载HBASE工作；