[发明专利]海量数据下实时数据报表统计方法

说明书

本发明公开了数据统计领域中的一种海量数据下实时数据报表统计方法，在应用数据入库的同时，按照数据统计特征，将统计数据实时写入到内存数据库；内存数据库根据数据统计特征，从当前统计周期开始，将上一个统计周期的统计数据存储到数据库中；用户查看统计报表信息时，数据汇集处理器根据统计特征的不同，进行统计分析并从数据库或内存数据库中提取数据，并返回统计结果。本发明达到既能统计实时数据、又能拥有比较高性能结果的目的，进而也提高了用户体验。

技术领域

本发明涉及数据统计领域，具体的说，是涉及一种海量数据下实时数据报表统计方法。

背景技术

传统的报表统计通常采用两种方法：一种是定时去将应用表的数据进行统计，然后保存的数据库的统计表，例如当天统计前一天的数据并存储到数据库，给系统界面查询，其相对于要求比较实时的场景，实时性差、效果不理想。

为了实时性考虑，另一种是根据用户输入的统计条件，对原始数据进行实时统计，直接统计数据表的数据，这种方法对于数据量很大的情况，分组统计就会显得比较慢，影响系统性能，也影响了用户体验；

因此，现在需要一种能够统计大量数据，并且实时性要求很高的报表统计方法。

发明内容

为了克服现有的技术的不足，本发明提供一种海量数据下实时数据报表统计方法。

本发明技术方案如下所述：

海量数据下实时数据报表统计方法，其特征在于：在应用数据入库的同时，按照数据统计特征，将统计数据实时写入到内存数据库；内存数据库根据所述数据统计特征，从当前统计周期开始，将上一个统计周期的统计数据存储到数据库中；用户查看统计报表信息时，所述数据汇集处理器根据统计特征的不同，进行统计分析并从所述数据库或所述内存数据库中提取数据，并返回统计结果。

根据上述方案的本发明，其特征在于，在查看统计报表信息时，用户登录系统登录系统界面，根据系统提供的查询条件，选择查询条件进行查询统计。

根据上述方案的本发明，其特征在于，所述数据统计特征为报表统计数据的类型。

根据上述方案的本发明，其特征在于，所述内存数据库包括memcached缓存器和redis缓存器。

根据上述方案的本发明，其特征在于，所述数据汇集处理器的处理流程为：所述数据汇集处理器收到统计指令，根据用户输入的统计条件，分别到数据库或内存数据库获取统计数据。

进一步的，用户查看的数据信息均为历史数据时，所述数据汇集处理器从所述数据库获取所述数据信息，并通过所述系统界面与用户进行交互；

用户查看的数据信息均为实时数据时，所述数据汇集处理器从所述内存数据库获取所述数据信息，并通过所述系统界面与用户进行交互；

用户查看的数据信息同时包括历史数据和实时数据时，所述数据汇集处理器同时从所述数据库和所述内存数据库获取数据信息。

进一步的，用户输入的统计条件为数据的统计周期。

更进一步的，所述历史数据的统计周期以天计，所述实时数据的统计周期以小时计。

根据上述方案的本发明，其有益效果在于：本发明中内存数据库是基于内存的，可以减少系统的I/O操作，每次应用数据进行入库的时候，就会根据系统的统计特征进行统计保存在内存数据库上，当用户查看统计信息的时候，数据也是直接到内存数据库获取的，减少了一个分组统计的过程，速度得到了提升，性能也提升，进而也提高了用户体验。本发明还能分别对历史数据、实时数据进行分类保存、提取，达到既能统计实时数据、又能拥有比较高性能结果的目的。

附图说明

图1为本发明的流程图。

具体实施方式