[发明专利]一种适用于大数据的统计任务快速生成系统及方法有效
申请号: | 201510234208.4 | 申请日: | 2015-05-08 |
公开(公告)号: | CN104915378B | 公开(公告)日: | 2018-11-13 |
发明(设计)人: | 别志铭;张健明;张勇鹏;王旭;吴楠;王耘;喻大发 | 申请(专利权)人: | 珠海世纪鼎利科技股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 广州嘉权专利商标事务所有限公司 44205 | 代理人: | 俞梁清 |
地址: | 519085 广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 适用于 数据 统计 任务 快速 生成 系统 方法 | ||
1.一种适用于大数据的统计任务快速生成系统,其特征在于,包括:
数据源适配器,用于将统计任务的数据源转换成统一的存储文件格式;
原子计数器,用于对统计任务进行统计计数;
统计指标生成器,用于根据统计任务的统计指标生成对应的计算公式;
维度选择器,用于提供对统计任务的数据源的统计维度;
报表生成器,用于根据用户选择的报表类型生成对应的报表格式;
调度器,用于设定统计任务的预设调度条件和调度范围;
代码生成器,用于根据数据源适配器、原子计数器、统计指标生成器、维度选择器、报表生成器和调度器自动生成统计任务的代码,并在符合调度器的预设调度条件时,自动执行该代码;
所述根据数据源适配器、原子计数器、统计指标生成器、维度选择器、报表生成器和调度器自动生成统计任务的代码,并在符合调度器的预设调度条件时,自动执行该代码,其具体为:
A1、根据维度选择器获得统计任务的统计维度后生成相应的代码;
A2、根据原子计数器获得统计任务的统计计数情况并生成相应的代码;
A3、根据统计指标生成器获得统计指标的计算公式后生成对应的执行代码;
A4、根据数据源适配器生成数据源的名称代码,进而结合维度选择器生成统计任务的具体统计分组的代码;
A5、获取调度器所设定的调度范围后,生成对应的限定调度范围的代码;
A6、判断是否符合调度器的预设调度条件,若是,则自动执行步骤A1~A5所生成的代码并将代码运行结果按照报表生成器所设定的报表格式生成对应的报表。
2.根据权利要求1所述的一种适用于大数据的统计任务快速生成系统,其特征在于,所述代码生成器自动生成的统计任务的代码包括MapReduce代码、impala执行代码或sql语句。
3.一种适用于大数据的统计任务快速生成方法,其特征在于,包括:
S1、获取统计任务的数据源并对数据源属性进行定义,生成对应的数据源适配器;
S2、根据统计任务的统计计数需求,定义对应的原子计数器;
S3、根据统计任务的统计指标,结合原子计数器定义统计指标的计算公式,生成对应的统计指标生成器;
S4、根据数据源属性定义数据源的统计维度,生成对应的维度选择器;
S5、根据用户设定的统计任务的报表类型定义报表格式,生成对应的报表生成器;
S6、定义统计任务的预设调度条件和调度范围,生成调度器;
S7、获取前述步骤所生成的数据源适配器、原子计数器、统计指标生成器、维度选择器、报表生成器和调度器后,自动生成统计任务的代码,并且在符合调度器的预设调度条件时,自动执行该代码;
所述步骤S7包括:
S71、根据维度选择器获得统计任务的统计维度后生成相应的代码;
S72、根据原子计数器获得统计任务的统计计数情况并生成相应的代码;
S73、根据统计指标生成器获得统计指标的计算公式后生成对应的执行代码;
S74、根据数据源适配器生成数据源的名称代码,进而结合维度选择器生成统计任务的具体统计分组的代码;
S75、获取调度器所设定的调度范围后,生成对应的限定调度范围的代码;
S76、判断是否符合调度器的预设调度条件,若是,则自动执行步骤S71~S75所生成的代码并将代码运行结果按照报表生成器所设定的报表格式生成对应的报表。
4.根据权利要求3所述的一种适用于大数据的统计任务快速生成方法,其特征在于,所述步骤S1,其具体为:
获取统计任务的数据源并对数据源属性进行定义,判断该数据源属性是否存在对应的数据源适配器,若是,则直接调用该数据源适配器,否则,根据定义的数据源属性建立新的数据源适配器。
5.根据权利要求3所述的一种适用于大数据的统计任务快速生成方法,其特征在于,所述步骤S3,其具体为:
判断统计任务的统计指标是否存在对应的统计指标生成器,若是,则直接调用该统计指标生成器,否则,结合原子计数器定义统计指标的计算公式后,根据定义的计算公式生成对应的统计指标生成器。
6.根据权利要求3所述的一种适用于大数据的统计任务快速生成方法,其特征在于,所述步骤S7中自动生成的统计任务的代码包括MapReduce代码、impala执行代码或sql语句。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于珠海世纪鼎利科技股份有限公司,未经珠海世纪鼎利科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510234208.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种帮助用户解决选择困难的平台
- 下一篇:一种数据信息的展示方法及装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置