[发明专利]数据的实时汇总以及区间汇总的方法和装置

权利要求书

1.一种数据的实时汇总方法，其特征在于，包括：

经由HDFS部署基于HBase的预定数目的RegionServer；

RegionServer各自按预定字段并行地进行数据汇总，以及

将RegionServer的各自的汇总后的数据发送至客户端，用于进行数据的二次汇总。

2.根据权利要求1所述的数据的实时汇总方法，其特征在于，

RegionServer各自按预定字段进行数据汇总包括如下步骤：

HBase服务器端接收由客户端发送的SQL查询语句；

HBase服务器端的所述预定数目的RegionServer按照预定字段解析所接收到的SQL查询语句，以将该SQL查询语句转换为API；以及

通过API对预先存储的数据表中的数据进行插入或读取处理，将处理操作之后的所述数据表中的数据在各RegionServer进行数据汇总。

3.根据权利要求2所述的数据的实时汇总方法，其特征在于，还包括：

所述RegionServer的协处理器中预先嵌入有协处理器程序，该协处理器程序根据预先维护好的元数据中的表数据类型将对应的字段数据转为字符流存入到HBase的表中。

4.根据权利要求3所述的数据的实时汇总方法，其特征在于，

所述协处理器程序还将所述字段的数据类型和HBase表的主键形成规则记录到所述元数据中。

5.根据权利要求4所述的数据的实时汇总方法，其特征在于，

在HDFS中进行通过API对预先存储的数据表中的数据进行插入或读取处理，并且返回至所述协处理器。

6.根据权利要求5所述的数据的实时汇总方法，其特征在于，

在所述插入或读取处理时，进行对应的所述数据类型和主键转换并返回给客户端。

7.根据权利要求3所述的数据的实时汇总方法，其特征在于，

所述协处理服务程序通过RegionServer获取所有符合预定条件的明细数据并通过大规模并行处理进行一次汇总，并且该一次汇总的结果集被返回至客户端。

8.一种数据的区间汇总方法，其特征在于，

预先设定调度表达式；以及

在满足所述调度表达式的状态下，通过调用接口，循环执行根据权利要求1-7的任意一项所述的数据的实时汇总方法，以得到数据的区间阶段结果。

9.根据权利要求8所述的数据的区间汇总方法，其特征在于，还包括：将所述区间阶段结果保存到关系型数据库或者缓存中。

10.一种数据的实时汇总装置，其特征在于，包括：

扩展模块，该扩展模块经由HDFS部署基于HBase的预定数目的RegionServer；

并行汇总模块，该并行汇总模块使RegionServer各自按预定字段并行地进行数据汇总；以及

发送模块，该发送模块将RegionServer的各自的汇总后的数据发送至客户端，用于进行数据的二次汇总。

11.一种数据的区间汇总装置，其特征在于，包括：

扩展模块，该扩展模块经由HDFS部署基于HBase的预定数目的RegionServer；

并行汇总模块，该并行汇总模块使RegionServer各自按预定字段并行地进行数据汇总；

发送模块，该发送模块将RegionServer的各自的汇总后的数据发送至客户端，用于进行数据的二次汇总；以及

调用模块，在满足预先设定的调度表达式的状态下，该调用模块通过调用接口循环调用所述扩展模块、所述并行汇总模块和所述发送模块，以得到数据的区间阶段结果。