[发明专利]基于数据库的海量数据处理系统及方法

说明书

技术领域

本发明涉及数据处理系统及方法，更具体地，涉及基于数据库的海量数据处理系统及方法。

背景技术

目前，随着数据库应用的日益广泛以及不同领域的业务种类的日益丰富，基于数据库处理海量数据越来越重要(例如根据特定维度统计某一时间区段内的活动的智能卡的数量，该数据量是往往是TB级别的)。

通常，现有的基于数据库的海量数据处理方法的基本工作原理如下：建立与数据库的接口；使用用于抽取数据的中间件；在数据库端创建表，用于存储从所述数据库抽取出的一定时间周期(例如一天)内的数据。

然而，当待处理的数据数量巨大(例如3000万～8亿)时，上述现有的技术方案存在如下问题：(1)数据抽取及处理时间太长，从而系统效率降低而难于满足应用要求；(2)数据库临时表所需空间太大，从而可能导致系统无法支撑或者导致硬件需求上升，并进一步促使成本增加。

为了解决前面所述的问题，现有的技术方案通常使用一些常规的优化手段，诸如创建索引、优化数据库查询语句等，然而，当待处理的数据时间跨度特别长(例如一个季度、半年或者一年)并且数量特别巨大(例如10亿以上)时，上述常规的优化手段依然不能满足要求，即处理时间过长，空间需求过大，甚至无法完成处理。

因此，存在如下需求：提供一种能够基于数据库高效并且快速地处理海量数据的系统及方法。

发明内容

为了解决上述现有技术方案所存在的缺陷，本发明提出了一种基于数据库的海量数据处理系统及方法。

本发明的目的是通过以下技术方案实现的：

一种基于数据库的海量数据处理系统，所述基于数据库的海量数据处理系统包括：

数据库，所述数据库用于存储原始数据；

数据采集装置，所述数据采集装置用于从所述数据库中根据设定条件抽取数据，并将所述抽取出的数据传送给数据处理装置；

数据处理装置，所述数据处理装置用于根据设定的维度以奇偶轮换方式处理接收到的所述数据，并将处理后的数据传送到数据存储装置；

数据存储装置，所述数据存储装置用于将接收到的所述处理后的数据分类存储。

在上面所公开的方案中，优选地，所述数据采集装置使用多并发方式从所述数据库抽取数据。

在上面所公开的方案中，优选地，所述数据处理装置进一步包括：

短周期数据处理模块，所述短周期数据处理模块用于将每个短周期时间段内的数据存储于所述数据存储装置中以构成短周期时间段数据集合，并在下一短周期开始前将本次短周期时间段内的数据从所述数据存储装置中清除；

第一中周期数据处理模块，所述第一中周期数据处理模块用于在每个奇数中周期时间段期间的每个所述短周期时间段的末端将所述短周期时间段数据集合与奇数中周期时间段累积数据集合合并，并将合并后的数据集合作为新的奇数中周期时间段累积数据集合，以及将所述新的奇数中周期时间段累积数据集合存储于所述数据存储装置中；其中，所述合并后的数据集合是所述短周期时间段数据集合与奇数中周期时间段累积数据集合的交集。

在上面所公开的方案中，优选地，所述数据处理装置进一步包括；

第二中周期数据处理模块，所述第二中周期数据处理模块用于在每个偶数中周期时间段期间的每个所述短周期时间段的末端将所述短周期时间段数据集合与偶数中周期时间段累积数据集合合并，并将合并后的数据集合作为新的偶数中周期时间段累积数据集合，以及将所述新的偶数中周期时间段累积数据集合存储于所述数据存储装置中；其中，所述合并后的数据集合是所述短周期时间段数据集合与偶数中周期时间段累积数据集合的交集。

在上面所公开的方案中，优选地，所述数据处理装置进一步包括：

第一长周期数据处理模块，所述第一长周期数据处理模块用于在每个奇数中周期时间段的起始端清空奇数长周期时间段累积数据集合，并且根据所述设定的维度以及所述奇数中周期时间段累积数据集合计算目标数值，随后将所述奇数中周期时间段累积数据集合与偶数长周期时间段累积数据集合进行交叉联合操作，并将操作后的数据集合作为新的奇数长周期时间段累积数据集合存储于所述数据存储装置中；