[发明专利]一种基于PaaS架构的统计图数据实时计算系统及方法

说明书

本发明涉及一种基于PaaS架构的统计图数据实时计算系统及方法，通过离线服务把定义好的指标规则进行全量计算并把影响指标结果的因素存放在数据库里；实时服务将用户业务数据变更的明细和影响指标结果的因素进行对比，选出本次业务数据变更影响到的字段进行增量计算，进行数据实时更新；每日固定时间进行全量计算完成分析。本发明提供了基于PaaS的架构和通表的设计理念，用户可以定义任意对象任意字段的统计指标，通用性好，操作灵活。本发明基于用户数据变更，建立事件驱动的计算模型，减少了计算的次数和资源的消耗。指标数据的更新时间做到了分钟级，优化了用户的体验。

技术领域

本发明涉及数据统计分析技术领域，尤其涉及一种基于PaaS架构的统计图数据实时计算系统及方法。

背景技术

现在越来越多的领域需要大数据分析，例如金融行业需要使用大数据系统结合VaR(value at risk)或者机器学习方案进行信贷风控，各种IOT场景需要大数据系统持续聚合和分析时序数据，各大科技公司需要建立大数据分析中台等等。支撑这些场景需求的数据分析，分析的数据范围横跨实时数据和历史数据，既需要低延迟的实时数据分析，也需要对历史数据进行综合性的数据分析；目前企业在利用统计图分析数据的时候有以下问题：

1.统计图各项指标的定义不够灵活、能够配置出来的指标有限、自定义对象很难支持分析。

2.通常统计图的数据更新是采用隔天更新的策略，更新数据的时间过长会导致数据分析工作的滞后。

发明内容

为了解决以上问题，本发明提供一种基于PaaS架构的统计图数据实时计算系统及方法，用户通过页面定义需要分析的统计图指标，离线服务会在晚上或第二天的凌晨收集初始化状态的指标来进行全量计算，全量计算后的指标将会通过用户业务数据的变更来进行增量的实时计算，使得统计图数据的更新频率达到分钟级。

为达到上述目的，本发明一方面提供一种基于PaaS架构的统计图数据实时计算系统，包括配置模块、字段提取模块、消息生成模块、对比模块、增量计算模块、全量计算模块、更新模块以及数据库；

配置模块，提供操作界面，用户通过所述操作界面定义对象要分析的指标规则；要分析的指标状态为初始化状态；

字段提取模块，根据所述指标规则获取对所述指标规则存在影响的字段；

消息生成模块，获取底层发生的行为，生成包含行为数据的消息，加入消息队列，实时消费所述消息队列进而获取到行为数据的变更明细；

对比模块，将变更明细和对所述指标规则存在影响的字段进行对比判断，获取受到该变更影响的字段；获取受到该变更影响的指标规则；

增量计算模块，获取到变更所述受到影响的指标规则后，对其进行增量计算；

全量计算模块，每日固定时间从所述数据库里查出所有状态为初始化状态的指标规则，按照所述指标规则进行全量计算；

更新模块，将增量计算结果更新到数据库中所述存在影响的字段；将全量计算结果更新至数据库中对应字段，作为次日增量计算的基础数据。

进一步的，配置模块，还用于定义数据聚合的方式。

进一步的，还包括数据表生成模块，生成多列宽表结构的存储表，所述存储表槽位用于存储指标计算结果数据；生成元数据表，存储指标规则的描述信息；元数据表和多列宽表根据数据库外键进行关联。

进一步的，所述更新模块，根据增量计算结果或全量计算结果涉及的各个指标，通过所述元数据表进行槽位寻址，找到相应指标在所述存储表中的目标槽位，并在将计算结果插入所述存储表的目标槽位中，完成更新。

进一步的，每日固定时间包括每日完成所有增量计算后进行当日全量计算或者每日开始增量计算前进行前日全量计算。