[发明专利]一种基于时间分组累计算法的实时统计报表系统

说明书

本发明提供了一种基于时间分组累计算法的实时统计报表系统，包括源数据获取模块，源数据处理模块，数据累计合并模块，数据存储模块和统计查询模块。本发明实现了低成本高产出的实时统计系统，使得数据增长量跟存储空间直接关系，而跟统计系统计算能力无直接关系，显著减少用户查询报表数据等待结果时间。

技术领域

本发明涉及计算机软件技术领域，尤其是涉及一种基于时间分组累计算法的实时统计报表系统。

背景技术

当海量数据需要经过统计算法输出报表数据和决策数据时消耗大量硬件和软件资源，并且计算时间长导致决策滞后，硬件和计算时间的成本形成反比，输出的报表数据或决策数据在统计维度上灵活性显得不够，说明实物的维度越多投入的硬件和付出的计算时间越多，经济价值与资源投入不成正比，失去平衡。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于时间分组累计算法的实时统计报表系统，能够有效提高实时统计报表系统的统计效率。

为了解决上述技术问题，本发明实施例提供了一种基于时间分组累计算法的实时统计报表系统，包括：

源数据获取模块，用于获取外部业务模块输入的指令数据以及源数据并存储；

源数据处理模块，用于读取所述源数据获取模块传入的指令数据及源数据，并根据读取的源数据格式解析源数据，同时，根据读取的源数据统计信息生成报表数据并存储；

数据累计合并模块，用于当获取到源数据时，实时检测当前时间的各级时间维度，当根据当前时间的下级时间维度判断时间值达到预设的触发值时，对上级时间维度的前一时刻的统计数据进行累计合并，并存储；其中，所述时间维度的判断次序依次为秒数、分钟、小时、天、月份、年份；

数据存储模块，用于响应各个模块的数据存储及读取请求，并对数据进行存储和读取；

统计查询模块，用于根据所述外部业务模块的输入指令，根据所述输入指令中的时间段信息进行时间分割，根据所述时间分割的结果以及所述输入指令中的数据字段过滤条件和字段分组条件构建报表查询指令，并根据所述报表查询指令进行统计报表查询并返回查询结果。

进一步地，所述源数据获取模块具体包括：

数据获取单元，用于通过Restful接口接收所述外部业务模块输入的指令数据和源数据；

指令校验单元，用于对所述外部业务模块输入的指令数据进行指令解析及格式校验；

数据存储单元，用于将所述指令数据以及源数据进行存储。

进一步地，所述源数据处理模块具体包括：

数据读取单元，用于读取所述源数据获取模块传入的指令数据及源数据；

源数据解析单元，用于根据读取的源数据格式解析源数据；

报表生成单元，用于根据读取的源数据统计信息生成报表数据；

统计数据存储单元，用于根据源数据解析得到的文件信息构造出数据存储表名，并使用所述数据存储表名将所述报表数据进行存储。

进一步地，所述的基于时间分组累计算法的实时统计报表系统还包括数据清除模块，用于根据所述外部业务模块的数据清除指令，将对应的报表数据进行删除。

进一步地，所述的基于时间分组累计算法的实时统计报表系统还包括数据重置模块，用于根据所述外部业务模块的数据重置指令，将对应的报表数据进行重置。

进一步地，所述统计查询模块具体包括：

输入指令获取单元，用于获取所述外部业务模块的输入指令；