[发明专利]一种基于海量数据的查询统计方法及系统

权利要求书

1.一种基于海量数据的查询统计方法，其特征在于，包括如下步骤：

步骤S1：将多个用户上传的原始数据存储在原始表中；

步骤S2：根据用户端预测查询条件将所述原始表内所有原始数据中的相关数据存储在增量日志表中；

步骤S3：对所述增量日志表中的相关数据进行归集统计，将归集统计结果写入归集表，完成对数据的归集统计；

步骤S4：根据用户端查询条件从所述归集表中输出查询结果，完成数据的输出显示。

2.根据权利要求1所述的基于海量数据的查询统计方法，其特征在于：所述步骤S1之前，用户端通过上传工具完成文件的上传操作，其中所述文件包括原始数据，服务器端从接收到的文件中解密出所述原始数据后将原始数据写入原始表中。

3.根据权利要求1所述的基于海量数据的查询统计方法，其特征在于：所述步骤S2之后，若所述原始表中输入有新增数据，则所述原始表的触发器将新增数据存储在所述增量日志表中。

4.根据权利要求3所述的基于海量数据的查询统计方法，其特征在于：所述步骤S2之后，将所述原始表中已被存储在增量日志表中的相关数据标记或删除。

5.根据权利要求1所述的基于海量数据的查询统计方法，其特征在于：所述原始数据是关于商品的数据，所述关于商品的数据包括商品编码和商品明细；所述步骤S3中，对所述增量日志表中的相关数据进行归集统计的方法为：将所述增量日志表中关于商品的数据按商品编码对商品明细进行统计，将商品的归集统计信息写入数据汇总的中间表。

6.根据权利要求5所述的基于海量数据的查询统计方法，其特征在于： 对所述中间表中的数据进行按天数以及月份的归集处理，完成处理结果的插入或者更新，并将处理后的数据存储在所述归集表中。

7.一种基于海量数据的查询统计系统，其特征在于，包括：

接收模块，用于接收多个用户端上传的原始数据，并将所述原始数据传输至定义模块；

定义模块，用于根据用户端预测查询条件从所述接收模块传输来的原始数据中提取相关数据，并将提取的相关数据发送至所述归集模块；

归集模块，用于对所述定义模块发送来的相关数据进行归集统计，并将归集后的数据发送至所述查询优化模块；

查询优化模块，用于根据用户端查询条件从所述归集模块发送来的归集后的数据中提取出相应数据，并将提取的数据输出至所述用户端。

8.根据权利要求7所述的基于海量数据的查询统计系统法，其特征在于：所述预测查询条件由用户端提供或者由系统服务器设定。

9.根据权利要求7所述的基于海量数据的查询统计系统，其特征在于：所述归集模块进行的归集统计包括：根据数据类型和日期条件对所述定义模块发送来的相关数据进行分析统计，完成数据的插入或者更新。

10.根据权利要求9所述的基于海量数据的查询统计系统，其特征在于：所述归集模块根据日期条件对所述定义模块发送来的相关数据进行分析统计是指按天数以及月份递归完成数据的统计。