[发明专利]一种适用于大数据的统计任务快速生成系统及方法有效

专利信息
申请号: 201510234208.4 申请日: 2015-05-08
公开(公告)号: CN104915378B 公开(公告)日: 2018-11-13
发明(设计)人: 别志铭;张健明;张勇鹏;王旭;吴楠;王耘;喻大发 申请(专利权)人: 珠海世纪鼎利科技股份有限公司
主分类号: G06F17/30 分类号: G06F17/30
代理公司: 广州嘉权专利商标事务所有限公司 44205 代理人: 俞梁清
地址: 519085 广*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 适用于 数据 统计 任务 快速 生成 系统 方法
【权利要求书】:

1.一种适用于大数据的统计任务快速生成系统,其特征在于,包括:

数据源适配器,用于将统计任务的数据源转换成统一的存储文件格式;

原子计数器,用于对统计任务进行统计计数;

统计指标生成器,用于根据统计任务的统计指标生成对应的计算公式;

维度选择器,用于提供对统计任务的数据源的统计维度;

报表生成器,用于根据用户选择的报表类型生成对应的报表格式;

调度器,用于设定统计任务的预设调度条件和调度范围;

代码生成器,用于根据数据源适配器、原子计数器、统计指标生成器、维度选择器、报表生成器和调度器自动生成统计任务的代码,并在符合调度器的预设调度条件时,自动执行该代码;

所述根据数据源适配器、原子计数器、统计指标生成器、维度选择器、报表生成器和调度器自动生成统计任务的代码,并在符合调度器的预设调度条件时,自动执行该代码,其具体为:

A1、根据维度选择器获得统计任务的统计维度后生成相应的代码;

A2、根据原子计数器获得统计任务的统计计数情况并生成相应的代码;

A3、根据统计指标生成器获得统计指标的计算公式后生成对应的执行代码;

A4、根据数据源适配器生成数据源的名称代码,进而结合维度选择器生成统计任务的具体统计分组的代码;

A5、获取调度器所设定的调度范围后,生成对应的限定调度范围的代码;

A6、判断是否符合调度器的预设调度条件,若是,则自动执行步骤A1~A5所生成的代码并将代码运行结果按照报表生成器所设定的报表格式生成对应的报表。

2.根据权利要求1所述的一种适用于大数据的统计任务快速生成系统,其特征在于,所述代码生成器自动生成的统计任务的代码包括MapReduce代码、impala执行代码或sql语句。

3.一种适用于大数据的统计任务快速生成方法,其特征在于,包括:

S1、获取统计任务的数据源并对数据源属性进行定义,生成对应的数据源适配器;

S2、根据统计任务的统计计数需求,定义对应的原子计数器;

S3、根据统计任务的统计指标,结合原子计数器定义统计指标的计算公式,生成对应的统计指标生成器;

S4、根据数据源属性定义数据源的统计维度,生成对应的维度选择器;

S5、根据用户设定的统计任务的报表类型定义报表格式,生成对应的报表生成器;

S6、定义统计任务的预设调度条件和调度范围,生成调度器;

S7、获取前述步骤所生成的数据源适配器、原子计数器、统计指标生成器、维度选择器、报表生成器和调度器后,自动生成统计任务的代码,并且在符合调度器的预设调度条件时,自动执行该代码;

所述步骤S7包括:

S71、根据维度选择器获得统计任务的统计维度后生成相应的代码;

S72、根据原子计数器获得统计任务的统计计数情况并生成相应的代码;

S73、根据统计指标生成器获得统计指标的计算公式后生成对应的执行代码;

S74、根据数据源适配器生成数据源的名称代码,进而结合维度选择器生成统计任务的具体统计分组的代码;

S75、获取调度器所设定的调度范围后,生成对应的限定调度范围的代码;

S76、判断是否符合调度器的预设调度条件,若是,则自动执行步骤S71~S75所生成的代码并将代码运行结果按照报表生成器所设定的报表格式生成对应的报表。

4.根据权利要求3所述的一种适用于大数据的统计任务快速生成方法,其特征在于,所述步骤S1,其具体为:

获取统计任务的数据源并对数据源属性进行定义,判断该数据源属性是否存在对应的数据源适配器,若是,则直接调用该数据源适配器,否则,根据定义的数据源属性建立新的数据源适配器。

5.根据权利要求3所述的一种适用于大数据的统计任务快速生成方法,其特征在于,所述步骤S3,其具体为:

判断统计任务的统计指标是否存在对应的统计指标生成器,若是,则直接调用该统计指标生成器,否则,结合原子计数器定义统计指标的计算公式后,根据定义的计算公式生成对应的统计指标生成器。

6.根据权利要求3所述的一种适用于大数据的统计任务快速生成方法,其特征在于,所述步骤S7中自动生成的统计任务的代码包括MapReduce代码、impala执行代码或sql语句。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于珠海世纪鼎利科技股份有限公司,未经珠海世纪鼎利科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201510234208.4/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top