[发明专利]数据统计分析方法及装置

说明书

技术领域

本发明涉及数据库技术，尤其涉及一种数据统计分析方法及装置。

背景技术

Hive是基于Apache分布式框架Hadoop的数据仓库工具，用于存储和处理海量结构化数据，Hive将数据存储于Hadoop分布式文件系统（HDFS，Hadoop Distributed File System），采用类似数据库的数据存储和处理机制，并采用HQL（Hive Query Language）对这些数据进行自动化管理和处理。

分布式的、面向列的数据库HBase可以使用本地文件系统或HDFS存储数据，但为了提高数据可靠性和系统的健壮性，发挥HBase处理大数据量的优势时需要使用HDFS作为存储数据的文件系统。

Hive将海量结构化数据映射到一张数据库表中，而实际上这些数据分布式地存储在HDFS中，Hive对数据分析人员下达的命令语句进行解析和转换，最终生成一系列基于Hadoop的映射/规约（Map/Reduce）模型的任务（Job），由Hadoop执行这些任务完成对数据的统计分析。

目前，数据分析人员直接操作Hive时需要有较高的专业操作技能，不利于该技术的推广，并且，Hive的一些功能例如用户定义函数（UDF，User Defined Function）需要频繁加载，操作繁琐且效率低下；对于频繁执行或者定期执行的对HBase的数据文件进行统计分析的任务，通常编写脚本通过任务管理工具Cron来调度执行，实际应用中任务数量较多，且管理人员无从得知脚本具体的功能，因此无法得知相应任务的操作记录，任务失败时也就无法进行恢复操作。

综上所述，由于相关技术中无法获知脚本的具体功能，因此无法获知任务的操作记录以及任务的统计分析结果。

发明内容

有鉴于此，本发明的主要目的在于提供一种数据统计分析方法及装置，以解决相关技术中无法获知任务的操作记录以及任务的统计分析结果的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种数据统计分析方法，该方法支持数据仓库工具对基于分布式框架的数据库中的数据进行统计分析，所述数据库中的数据与对所述数据库中的数据进行统计分析的任务预关联，该方法包括：

解析所接收的任务参数，按照预设规则组装所述数据库的建表语句，并根据所述建表语句在所述数据库中执行建表操作；

根据所述任务参数生成所述任务参数对应的任务，并根据所述任务参数调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果存储至在所述数据库所建立的对应的表中。

优选地，解析所接收的任务参数之前，该方法还包括：

将所接收的任务参数存储至缓冲存储器；

持久化所接收的任务参数至所述数据库；

在所述缓冲存储器存储的任务参数丢失时，将所述数据库中的任务参数发送至所述缓冲存储器。

优选地，所述任务参数包括：任务身份标识（ID，IDentity）、任务对应的命令语句；

相应地，所述解析所接收的任务参数之前，该方法还包括：

确定所述存储缓冲器中未存储所述任务ID，且所述命令语句有效。

优选地，所述解析所接收的任务参数，按照预设规则组装所述数据库的建表语句，并根据所述建表语句在所述数据库中执行建表操作，包括：

解析所述任务参数中的命令语句，从所述命令语句的解析结果中提取查询字段，在所述数据库中建立与所述任务ID对应的表，在所述对应的表中建立与所述查询字段对应的字段。

优选地，所述任务参数还包括：任务状态标识、任务执行日期、任务执行时间和任务关联的编程模型；

相应地，所述根据所述任务参数生成所述任务参数对应的任务，并根据所述任务参数调度所述分布式框架执行所生成的任务，将执行所生成的任务后确定的统计分析的结果存储至在所述数据库所建立的对应的表中，包括：

根据所述命令语句和所述任务关联的编程模型生成任务，在确定所生成的任务对应的状态标识为开启时，在所述任务执行日期的所述任务执行时间指定的时间到来时，调度所述分布式框架而执行所生成的任务，并将执行所述任务的记录和执行所述任务后确定的统计分析的结果，存储至所述数据库中所述查询字段对应的字段。

本发明还提供了一种数据统计分析装置，该装置支持数据仓库工具对基于分布式框架的数据库中的数据进行统计分析，所述数据库中的数据与对所述数据库中的数据进行统计分析的任务预关联，该装置包括：接收模块、解析建表模块、任务生成模块和调度执行模块；其中，