[发明专利]基于数据库的海量数据处理系统及方法

权利要求书

1.一种基于数据库的海量数据处理系统，所述基于数据库的海量数据处理系统包括：

数据库，所述数据库用于存储原始数据；

数据采集装置，所述数据采集装置用于从所述数据库中根据设定条件抽取数据，并将所述抽取出的数据传送给数据处理装置；

数据处理装置，所述数据处理装置用于根据设定的维度以奇偶轮换方式处理接收到的所述数据，并将处理后的数据传送到数据存储装置；

数据存储装置，所述数据存储装置用于将接收到的所述处理后的数据分类存储。

2.根据权利要求1所述的基于数据库的海量数据处理系统，其特征在于，所述数据采集装置使用多并发方式从所述数据库抽取数据。

3.根据权利要求2所述的基于数据库的海量数据处理系统，其特征在于，所述数据处理装置进一步包括：

短周期数据处理模块，所述短周期数据处理模块用于将每个短周期时间段内的数据存储于所述数据存储装置中以构成短周期时间段数据集合，并在下一短周期开始前将本次短周期时间段内的数据从所述数据存储装置中清除；

第一中周期数据处理模块，所述第一中周期数据处理模块用于在每个奇数中周期时间段期间的每个所述短周期时间段的末端将所述短周期时间段数据集合与奇数中周期时间段累积数据集合合并，并将合并后的数据集合作为新的奇数中周期时间段累积数据集合，以及将所述新的奇数中周期时间段累积数据集合存储于所述数据存储装置中；其中，所述合并后的数据集合是所述短周期时间段数据集合与奇数中周期时间段累积数据集合的交集。

4.根据权利要求3所述的基于数据库的海量数据处理系统，其特征在于，所述数据处理装置进一步包括：

第二中周期数据处理模块，所述第二中周期数据处理模块用于在每个偶数中周期时间段期间的每个所述短周期时间段的末端将所述短周期时间段数据集合与偶数中周期时间段累积数据集合合并，并将合并后的数据集合作为新的偶数中周期时间段累积数据集合，以及将所述新的偶数中周期时间段累积数据集合存储于所述数据存储装置中；其中，所述合并后的数据集合是所述短周期时间段数据集合与偶数中周期时间段累积数据集合的交集。

5.根据权利要求4所述的基于数据库的海量数据处理系统，其特征在于，所述数据处理装置进一步包括：

第一长周期数据处理模块，所述第一长周期数据处理模块用于在每个奇数中周期时间段的起始端清空奇数长周期时间段累积数据集合，并且根据所述设定的维度以及所述奇数中周期时间段累积数据集合计算目标数值，随后将所述奇数中周期时间段累积数据集合与偶数长周期时间段累积数据集合进行交叉联合操作，并将操作后的数据集合作为新的奇数长周期时间段累积数据集合存储于所述数据存储装置中；

第二长周期数据处理模块，所述第二长周期数据处理模块用于在每个偶数中周期时间段的起始端清空偶数长周期时间段累积数据集合，并且根据所述设定的维度以及所述偶数中周期时间段累积数据集合计算目标数值，随后将所述偶数中周期时间段累积数据集合与奇数长周期时间段累积数据集合进行交叉联合操作，并将操作后的数据集合作为新的偶数长周期时间段累积数据集合存储于所述数据存储装置中。

6.根据权利要求5所述的基于数据库的海量数据处理系统，其特征在于，所述短周期是一日，所述中周期是一月以及所述长周期是一年。

7.根据权利要求6所述的基于数据库的海量数据处理系统，其特征在于，所述数据存储装置进一步包括：

短周期数据存储器，所述短周期数据存储器用于创建短周期数据表，所述短周期数据表用于存储所述短周期时间段数据集合；

第一中周期数据存储器，所述第一中周期数据存储器用于创建第一中周期数据表，所述第一中周期数据表用于存储所述奇数中周期时间段累积数据集合；

第二中周期数据存储器，所述第二中周期数据存储器用于创建第二中周期数据表，所述第二中周期数据表用于存储所述偶数中周期时间段累积数据集合；

第一长周期数据存储器，所述第一长周期数据存储器用于创建第一长周期数据表，所述第一长周期数据表用于存储所述奇数长周期时间段累积数据集合；

第二长周期数据存储器，所述第二长周期数据存储器用于创建第二长周期数据表，所述第二长周期数据表用于存储所述偶数长周期时间段累积数据集合。