[发明专利]基于HBase的对大数据统计分析的方法及装置

权利要求书

1.一种基于HBase的对大数据统计分析的方法，其特征在于，所述方法包括：

在表的region中增加第二列B；

将待计算的数据保存在第二列B中，并将计算得到的数据保存在所述表的第一列A中；

根据HBase控制台的信息，确定每个服务器上负载的region数是否一致；

如果不一致，则调整各个服务器上的region数，使得每个服务器上负载的region数保持一致；以及使得各个region的数据量分布保持一致；

其中，第二列B的行键的算法规则与第一列A的行键一致；

其中，在首次交换数据时，客户端通过zookeeper与HBase交互，并且在后续的过程中，客户端通过在本地缓存的HBase元数据与HBase服务器直接交互；

其中，所述使得每个服务器上负载的region数保持一致包括：

重新映射表中所有的region与服务器的关系，并且

通过shell命令行调用相应的应用程序以将region在各个服务器上重新分配；

其中，所述使得各个region的数据量分布重新均衡包括：

对数据量过大或过小的region，利用shell命令行调用相应的应用程序对其拆分或合并，使得各个region的数据量分布保持一致。

2.如权利要求1所述的方法，其特征在于，第二列B中数据的有效期被预设为固定期限，并且，

当超过所述固定期限之后，第二列B中的数据被清除。

3.如权利要求2所述的方法，其特征在于，第一列A中数据的有效期被预设为永久，并且将计算结果的数据保存在第一列A中。

4.如权利要求1所述的方法，其特征在于，对大数据统计分析包括：计算所述大数据中的平均值、波峰和波谷。

5.一种基于HBase的对大数据统计分析的装置，其特征在于，所述装置用以实现权利要求1-4任一基于HBase的对大数据统计分析的方法，所述装置包括：

存储器；以及

处理器，所述处理器被配置为：

在表的region中增加第二列B；

将待计算的数据保存在第二列B中，并将计算得到的数据保存在所述表的第一列A中；

根据HBase控制台的信息，确定每个服务器上负载的region数是否一致；

如果不一致，则调整各个服务器上的region数，使得每个服务器上负载的region数保持一致；以及

使得各个region的数据量分布保持一致。

6.如权利要求5所述的装置，其特征在于，所述处理器被进一步配置为：

将第二列B中数据的有效期预设为固定期限，并且当超过所述固定期限之后，清除第二列B中的数据。

7.如权利要求6所述的装置，其特征在于，所述处理器被进一步配置为：

重新映射表中所有的region与服务器的关系，并且，

接收shell命令行，调用相应的应用程序以将region在各个服务器上重新分配。