[发明专利]一种基于PaaS架构的统计图数据实时计算系统及方法在审
申请号: | 202010006075.6 | 申请日: | 2020-01-03 |
公开(公告)号: | CN111241113A | 公开(公告)日: | 2020-06-05 |
发明(设计)人: | 王玉林;程凯;王光辉;张振;王丽华;吴健鹏 | 申请(专利权)人: | 北京纷扬科技有限责任公司 |
主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/2458 |
代理公司: | 北京市振邦律师事务所 11389 | 代理人: | 李朝辉 |
地址: | 100013 北京市东城区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 paas 架构 统计图 数据 实时 计算 系统 方法 | ||
1.一种基于PaaS架构的统计图数据实时计算系统,其特征在于,包括配置模块、字段提取模块、消息生成模块、对比模块、增量计算模块、全量计算模块、更新模块以及数据库;
配置模块,提供操作界面,用户通过所述操作界面定义对象要分析的指标规则;要分析的指标状态为初始化状态;
字段提取模块,根据所述指标规则获取对所述指标规则存在影响的字段;
消息生成模块,获取底层发生的行为,生成包含行为数据的消息,加入消息队列,实时消费所述消息队列进而获取到行为数据的变更明细;
对比模块,将变更明细和对所述指标规则存在影响的字段进行对比判断,获取受到该变更影响的字段;获取受到该变更影响的指标规则;
增量计算模块,获取到变更所述受到影响的指标规则后,对其进行增量计算;
全量计算模块,每日固定时间从所述数据库里查出所有状态为初始化状态的指标规则,按照所述指标规则进行全量计算;
更新模块,将增量计算结果更新到数据库中所述存在影响的字段;将全量计算结果更新至数据库中对应字段,作为次日增量计算的基础数据。
2.根据权利要求1所述的一种基于PaaS架构的统计图数据实时计算系统,其特征在于,配置模块,还用于定义数据聚合的方式。
3.根据权利要求1或2所述的一种基于PaaS架构的统计图数据实时计算系统,其特征在于,还包括数据表生成模块,生成多列宽表结构的存储表,所述存储表槽位用于存储指标计算结果数据;生成元数据表,存储指标规则的描述信息;元数据表和多列宽表根据数据库外键进行关联。
4.根据权利要求3所述的一种基于PaaS架构的统计图数据实时计算系统,其特征在于,所述更新模块,根据增量计算结果或全量计算结果涉及的各个指标,通过所述元数据表进行槽位寻址,找到相应指标在所述存储表中的目标槽位,并在将计算结果插入所述存储表的目标槽位中,完成更新。
5.根据权利要求1或2所述的一种基于PaaS架构的统计图数据实时计算系统,其特征在于,在每日固定时间完成所有增量计算后进行当日全量计算或者在每日固定时间开始增量计算前进行前日全量计算。
6.一种基于PaaS架构的统计图数据实时计算方法,其特征在于,包括:
用户定义对象要分析的指标规则,要分析的指标规则为初始化状态;根据所述要分析的指标规则获取对所述指标规则存在影响的字段;
当发生底层行为时,生成行为数据的消息,加入消息队列,实时消费所述消息队列进而获取到行为数据的变更明细;
将变更明细和所述存在影响的字段进行对比判断,选出受到该变更影响的字段进行增量计算,将计算结果更新到数据库;
每日固定时间从所述数据库里查出所有状态为初始化的指标规则按照所述指标规则提取字段后进行全量计算,并将计算结果更新至数据库,作为次日增量计算的基础数据。
7.根据权利要求6所述的一种基于PaaS架构的统计图数据实时计算方法,其特征在于,还包括用户定义数据聚合的方式。
8.根据权利要求6或7所述的一种基于PaaS架构的统计图数据实时计算方法,其特征在于,数据库中包括:
采用多列宽表结构的存储表,所述存储表槽位用于存储指标计算结果数据;
元数据表,存储指标字段的描述信息;元数据表和多列宽表根据数据库外键进行关联。
9.根据权利要求8所述的一种基于PaaS架构的统计图数据实时计算方法,其特征在于,将计算结果更新至数据库包括:计算结果涉及的各个指标通过所述元数据表进行槽位寻址,找到相应指标在所述存储表中的目标槽位,并在将计算结果插入所述存储表的目标槽位中。
10.根据权利要求6或7所述的一种基于PaaS架构的统计图数据实时计算方法,其特征在于,每日固定时间包括每日完成所有增量计算后进行当日全量计算或者每日开始增量计算前进行前日全量计算。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京纷扬科技有限责任公司,未经北京纷扬科技有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010006075.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种积木式触感交互系统
- 下一篇:一种远程服务调用系统及调用方法