[发明专利]一种大数据量的数据查询方法

说明书

技术领域

本发明属于数据查询统计技术领域，涉及一种大数据量的数据查询方法。

背景技术

在集团型企业或单位，其组织结构非常复查，各机构涉及各种各样的业务数据，所有机构的业务数据汇总，整个集团企业或者单位的业务数据量会非常庞大。当月度或者季度需要出报表或者平时因为其他原因需要对某些业务数据进行统计的时候，因为整个业务数据量非常庞大，所以其每次进行业务数据查询或统计时，持续时间比较长，需要消耗很大的人力、物力，消耗资源会比较大。

目前，传统的查询和统计方式，一般都是直接从业务数据表中进行处理，然而直接从业务数据表中进行处理不仅影响应用系统的业务处理性能，数据查询统计慢，需要花很长时间，而且其数据查询和统计性能非常差，甚至出现数据查询或者统计数据的偏差，最终导致数据查询的结果受到影响，进而对企业或者单位的工作造成不良影响。

故，针对上述现有技术在大数据量的数据查询方面存在的缺陷，实有必要进行研究，以提供一种大数据量的数据查询方法，减少查询的时间，降低数据查询的资源消耗，提升查询的效率和统计性能。

发明内容

为解决上述问题，本发明的目的在于提供一种大数据量的数据查询方法。

为实现上述目的，本发明的技术方案为：

一种大数据量的数据查询方法，包括如下步骤：

S10：定义增量数据捕获方式；

S11：定义增量捕获调度执行计划；

S12：执行增量数据定期归集；

S13：执行数据统计结果查询。

进一步地，在步骤S10中，具体又包括：

S101：定义增量单元；

S102：定义增量包；

S103：启用增量包并进行增量初始准备；

S104：增量订阅。

进一步地，在步骤S101中，增量单元的结构包括有增量单元对应的数据表、增量的内容字段、数据表的主键字段、数据表的时间戳字段。

进一步地，在步骤S102中，所述增量包中需要指定增量数据的捕获模式以及增量单元集合。

进一步地，所述增量包捕获模式包括快照表模式、时间戳模式、触发器模式、以及数据库日志模式。

进一步地，在步骤S103中，根据增量单元的结构，创建增量数据表，增量数据表的结构除了包括增量单元对应的内容字段和主键字段，还包括时间戳字段。

进一步地，在步骤S11中，包括有：定义调度计划，设置调度自动增量归集的任务，并设置任务执行的频率和时间周期以及相关的执行方式。

进一步地，在步骤S12中，定期执行增量数据归集，其具体包括以下的步骤：

S120：根据步骤S10中定义的增量捕获方式捕获增量数据；

S121：把增量数据加载到步骤S103中创建的增量数据表中；

S122：根据步骤S10中增量订阅的信息，生成增量数据同步到查询中间结果表中的存储过程；

S123：执行步骤S122中创建的存储过程，创建查询中间结果表，并把步骤S120中捕获的增量数据同步到查询中间结果表中。

本发明把复杂的数据统计查询过程包分解成两个过程，统计计算归集和实时查询；将统计计算归集过程放在后台运行，并且归集过程只归集增量数据，从而大大提高了大数据量统计查询的执行效率。

附图说明

图1是本发明的数据查询整体流程示意图；

图2是本发明的增量单元实体结构图；

图3是本发明的增量包实体结构示意图；

图4是本发明的增量实体结构关系示意图；

图５是本发明的增量捕获规则设计的流程示意图；

图６是本发明的增量数据归集的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。