[发明专利]数据统计分析方法及装置

权利要求书

1.一种数据统计分析方法，其特征在于，该方法支持数据仓库工具对基于分布式框架的数据库中的数据进行统计分析，所述数据库中的数据与对所述数据库中的数据进行统计分析的任务预关联，该方法包括：

解析所接收的任务参数，按照预设规则组装所述数据库的建表语句，并根据所述建表语句在所述数据库中执行建表操作；

根据所述任务参数生成所述任务参数对应的任务，并根据所述任务参数调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果存储至在所述数据库所建立的对应的表中。

2.根据权利要求1所述的方法，其特征在于，解析所接收的任务参数之前，该方法还包括：

将所接收的任务参数存储至缓冲存储器；

持久化所接收的任务参数至所述数据库；

在所述缓冲存储器存储的任务参数丢失时，将所述数据库中的任务参数发送至所述缓冲存储器。

3.根据权利要2所述的方法，其特征在于，所述任务参数包括：任务身份标识ID、任务对应的命令语句；

相应地，所述解析所接收的任务参数之前，该方法还包括：

确定所述存储缓冲器中未存储所述任务ID，且所述命令语句有效。

4.根据权利要3所述的方法，其特征在于，所述解析所接收的任务参数，按照预设规则组装所述数据库的建表语句，并根据所述建表语句在所述数据库中执行建表操作，包括：

解析所述任务参数中的命令语句，从所述命令语句的解析结果中提取查询字段，在所述数据库中建立与所述任务ID对应的表，在所述对应的表中建立与所述查询字段对应的字段。

5.根据权利要求4所述的方法，其特征在于，所述任务参数还包括：任务状态标识、任务执行日期、任务执行时间和任务关联的编程模型；

相应地，所述根据所述任务参数生成所述任务参数对应的任务，并根据所述任务参数调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果存储至在所述数据库所建立的对应的表中，包括：

根据所述命令语句和所述任务关联的编程模型生成任务，在确定所生成的任务对应的状态标识为开启时，在所述任务执行日期的所述任务执行时间指定的时间到来时，调度所述分布式框架而执行所生成的任务，并将执行所述任务的记录和执行所述任务后确定的统计分析的结果，存储至所述数据库中所述查询字段对应的字段。

6.一种数据统计分析装置，其特征在于，该装置支持数据仓库工具对基于分布式框架的数据库中的数据进行统计分析，所述数据库中的数据与对所述数据库中的数据进行统计分析的任务预关联，该装置包括：接收模块、解析建表模块、任务生成模块和调度执行模块；其中，

所述接收模块，用于接收任务参数；

所述解析建表模块，用于解析所接收的任务参数，按照预设规则组装所述数据库的建表语句，并根据所述建表语句在所述数据库中执行建表操作；

所述任务生成模块，用于根据所述任务参数生成所述任务参数对应的任务；

所述调度执行模块，用于根据所述任务参数调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果，存储至在所述数据库所建立的对应的表中。

7.根据权利要求6所述的装置，其特征在于，该装置还包括缓冲存储器和发送模块；其中，

所述接收模块，还用于将接收的任务参数存储至所述缓冲存储器；持久化所接收的任务参数至所述数据库；

所述发送模块，用于在所述缓冲存储器存储的任务参数丢失时，将所述数据库中的任务参数发送至所述缓冲存储器。

8.根据权利要求7所述的装置，其特征在于，所述任务参数包括：任务ID、任务对应的命令语句；

该装置还包括：确定模块，用于确定所述存储缓冲器中未存储所述任务ID，且所述命令语句有效时，触发所述解析建表模块。

9.根据权利要求8所述的装置，其特征在于，

所述解析建表模块，还用于解析所述任务参数中的命令语句，从所述命令语句的解析结果中提取查询字段，在所述数据库中建立与所述任务ID对应的表，在所述对应的表中建立与所述查询字段对应的字段。

10.根据权利要求9所述的装置，其特征在于，所述任务参数还包括：任务状态标识、任务执行日期、任务执行时间和任务关联的编程模型；

所述任务生成模块，还用于根据所述命令语句和所述任务关联的编程模型生成任务；

所述确定模块，还用于确定所生成的任务对应的状态标识为开启时，在所述任务执行日期的所述任务执行时间指定的时间到来时触发所述调度执行模块；

所述调度执行模块，还用于调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果，存储至在所述数据库所建立的对应的表中。