[发明专利]一种适用于大数据的统计任务快速生成系统及方法

说明书

本发明公开了一种适用于大数据的统计任务快速生成系统及方法，该方法包括分别生成数据源适配器、原子计数器、统计指标生成器、维度选择器、报表生成器、调度器和代码生成器后，自动生成统计任务的代码，并在符合调度器的预设调度条件时，自动执行该代码。本发明通过将统计任务分解并定义成数据源适配器、原子计数器、统计指标生成器、维度选择器、报表生成器和调度器等几个部分后，用户在创建自己任务的时候，可任意拖拽自己需要统计的指标，然后根据用户配置的标准模型，自动生成统计代码。本发明可以把复杂的云计算过程简单化，模块组件化，快速地生成统计任务代码，大大地提高了开发效率，可广泛应用于大数据统计行业中。

技术领域

本发明涉及数据统计领域，特别是涉及一种适用于大数据的统计任务快速生成系统及方法。

背景技术

为了便于下文的描述，首先给出以下名字解释：

hadoop：一种分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序；

parquet：用于hadoop的列存储文件格式；

MapReduce：一种编程模型，用于大规模数据集的并行运算；

impala：impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据，最大的优点是快速。

spark：Spark是一个由加州大学伯克利分校开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集（Resilient distributed datasets），提供了比Hadoop更加丰富的MapReduce模型，可以快速在内存中对数据集进行多次迭代，来支持复杂的数据挖掘算法和图计算算法。

oozie：Oozie是一种Java Web应用程序，它运行在Java servlet容器中，并使用数据库来存储以下内容：

l 工作流定义

l 当前运行的工作流实例，包括实例的状态和变量

Oozie工作流是放置在控制依赖DAG（有向无环图 Direct Acyclic Graph）中的一组动作（例如，Hadoop的Map/Reduce作业、Pig作业等），其中指定了动作执行的顺序。Oozie为以下类型的动作提供支持： Hadoop map-reduce、Hadoop文件系统、Pig、Java和Oozie的子工作流。

sql：structured query language，结构化查询语言。

随着社会的发展，科技的进步，数据发展进行大数据时代、云计算时代，通过对各种数据进行合理、科学的统计，从而获得各种统计指标，用于分析各种数据的本质，可以对数据进行有效管理。目前技术中，基于大数据计算各种统计指标，大都是通过采用Java开发mapreduce等方式来实现的，但是这种方式开发和调试过程非常复杂，开发难度大，而且重用度和开发效率非常低下，已经无法适应大数据发展进程。

发明内容

为了解决上述的技术问题，本发明的目的是提供一种适用于大数据的统计任务快速生成系统，本发明的另一目的是提供一种适用于大数据的统计任务快速生成方法。

本发明解决其技术问题所采用的技术方案是：

一种适用于大数据的统计任务快速生成系统，包括：

数据源适配器，用于将统计任务的数据源转换成统一的存储文件格式；

原子计数器，用于对统计任务进行统计计数；

统计指标生成器，用于根据统计任务的统计指标生成对应的计算公式；