[发明专利]一种数据统计方法及装置

权利要求书

1.一种数据统计方法，其特征在于，所述方法包括：

基于预设的标签树将业务数据集中的数据记录转换为标签记录，其中，所述标签树为层级化的树形结构，以标签为节点，用于建立业务数据集中字段值与标签的映射关系以及表达业务数据集中字段值的层级关系和字段属性；

采用分布式并行计算框架对标签记录进行键值对Key-Value初步聚合后，加载到分布式数据统计分析引擎的数据库中；

基于标签树的标签生成检索条件，调用分布式数据统计分析引擎的统计分析接口获得统计结果

所述统计方法还包括统计扩展步骤：

扩展标签树及更新用于转换业务数据集的数据记录到标签记录的配置文件，所述扩展包括扩展根节点以下的任一层标签节点；

基于扩展的标签树生成统计条件，调用分布式数据统计分析引擎的统计分析接口获得统计结果。

2.根据权利要求1所述的方法，其特征在于，所述对标签记录进行键值对Key-Value初步聚合的方法为：

使用Hadoop的Map-Reduce组件的Map阶段将标签记录中的标签字段进行合并生成关键字Key，再通过Map-Reduce组件的Reduce阶段将具有相同Key值的标签记录进行聚合。

3.根据权利要求1所述的方法，其特征在于，

所述标签树支持多值属性，所述分布式数据统计分析引擎的数据库支持多值标签字段的存储和统计；对于具有多值属性的标签字段，在对标签记录进行键值对Key-Value初步聚合后，在加载到分布式数据统计分析引擎的数据库之前，对包含具有多值属性的标签字段的标签记录进行组合，从而生成包含多值标签字段的标签记录。

4.根据权利要求1所述的方法，其特征在于，

所述分布式并行计算框架为Map-Reduce组件或Spark组件，所述分布式数据统计分析引擎为ElasticSearch；

所述经过键值对Key-Value初步聚合后的标签记录，通过ES-Hadoop连接器加载到ElasticSearch数据库中。

5.一种数据统计装置，其特征在于，所述装置包括：

转换模块，用于基于预设的标签树将业务数据集中的数据记录转换为标签记录，其中，所述标签树为层级化的树形结构，以标签为节点，用于建立业务数据集中字段值与标签的映射关系以及表达业务数据集中字段值的层级关系和字段属性；

入库模块，用于采用分布式并行计算框架对标签记录进行键值对Key-Value初步聚合后，加载到分布式数据统计分析引擎的数据库中；

统计模块，用于基于标签树的标签生成检索条件，调用分布式数据统计分析引擎的统计分析接口获得统计结果；

所述统计装置还包括：

配置更新模块，用于扩展标签树及更新用于转换业务数据集的数据记录到标签记录的配置文件，所述扩展包括扩展根节点以下的任一层标签节点；

所述统计模块基于扩展的标签树生成统计条件，调用分布式数据统计分析引擎的统计分析接口获得统计结果。

6.根据权利要求5所述的装置，其特征在于，

所述入库模块使用Hadoop的Map-Reduce组件的Map阶段将标签记录中的标签字段进行合并生成关键字Key，再通过Map-Reduce组件的Reduce阶段将具有相同Key值的标签记录进行聚合。

7.根据权利要求5所述的装置，其特征在于，

所述标签树支持多值属性，所述分布式数据统计分析引擎的数据库支持多值标签字段的存储和统计；

对于具有多值属性的标签字段，所述入库模块在对标签记录进行键值对Key-Value初步聚合后，在加载到分布式数据统计分析引擎的数据库之前，对包含具有多值属性的标签字段的标签记录进行组合，从而生成包含多值标签字段的标签记录。

8.根据权利要求5所述的装置，其特征在于，

所述分布式并行计算框架为Map-Reduce组件或Spark组件，所述分布式数据统计分析引擎为ElasticSearch；

所述入库模块使用ES-Hadoop连接器将经过键值对Key-Value初步聚合后的标签记录加载到ElasticSearch数据库中。