[发明专利]海量数据实时筛选分析方法、系统及存储介质

说明书

本发明公开了一种海量数据实时筛选分析方法、系统及存储介质，所述方法包括：构建基本条件数据库，并进行压缩存储；根据筛选条件结合基本条件数据库，确定本地缓存数据中的可用数据；结合可用数据在操作端进行逻辑运算，并对中间运算结果进行存储；显示最终的逻辑运算结果。本发明通过将数据筛选过程从服务器端转移至浏览器端，合理利用浏览器的自带缓存，明显解决了计算时间，同时，减少了服务器的运算量，提升了计算速度，从而也降低了服务器的运维成本。

技术领域

本发明涉及数据处理技术领域，具体的说，是涉及一种海量数据实时筛选分析方法、系统及存储介质。

背景技术

随着社会信息化的日益发展，大数据、数据筛选已逐渐成为公知，但如何提高对海量数据的筛选及分析的速度仍是本领域技术人员难以攻克的难关。

现有对海量数据进行筛选分析的方案主要有两种：

一种方案是采用数据库针对原始数据进行处理，如图1，以对海量用户实时筛选为例，首先分析所有筛选条件，选择满足条件的用户数量最少的条件，通过数据库索引获得用户列表，最后再逐个判断是否满足剩下的条件。这种筛选方式主要由服务器进行筛选运算，且针对每一个筛选条件，均需要对所有用户进行搜索计算，即在进行复合条件筛选时，其需要对用户进行多次重复筛选，这就难免需要大量的计算，并耗费较多的计算时间。

另一种方案是使用BitSet方法处理，如图2，同样以对海量用户实时筛选为例，采用离线任务将各条件下的用户列表记录成压缩BitSet格式，根据用户的请求调取对应的BitSet进行逻辑运算。这种方式的缺陷在于，分析师调整筛选条件后，需要重新计算整个任务，不能有效的缓存中间计算结果并对中间计算结果加以利用，也在一定程度上影响了计算速度。

综上，上述两种方案的计算过程均给服务器带来较大的计算压力，这同时也间接的提高了服务器的运行成本。

发明内容

本发明的第一目的是提供一种海量数据实时筛选分析方法、系统及存储介质，该方法通过将数据筛选过程从服务器端转移至浏览器端，合理利用浏览器的自带缓存，明显解决了计算时间，同时，减少了服务器的运算量，提升了计算速度，从而也降低了服务器的运维成本。本发明的第二目的，是提供一种海量数据实时筛选系统，该系统用于执行上述方法的步骤。本发明的第三目的，是提供一种存储介质，该存储介质上存储有执行上述筛选分析方法的计算机程序。

为了实现上述目的，本发明的一个方面，提供了一种海量数据实时筛选分析方法，该方法包括如下步骤：

构建基本条件数据库，对基本条件数据库进行压缩后存储至云空间，并对基本条件数据库中每项数据对应的数据列表进行本地缓存；

根据筛选条件提取基本条件数据库及本地缓存数据中的可用数据；

在操作端对可用数据进行筛选，获取中间运算结果及筛选结果；

对中间运算结果进行存储，并显示筛选结果。

需要说明的是，如果在上述计算过程完成前，用户更改了筛选条件，则取消现有的不必要的计算过程，返回至“根据筛选条件结合基本条件数据库，确定本地缓存数据中的可用数据”处，即根据新的筛选条件，重新进行分析。

作为一种优选的技术方案，所述构建基本条件数据库，对基本条件数据库进行压缩存储，并对基本条件数据库中每项数据对应的数据列表进行本地缓存具体为：汇总所有的基本条件及现有的基本条件集合得到基本条件数据库，并将基本条件数据库记录为压缩文件，存储至云空间，并将基本条件数据库中的每项数据对应的数据列表缓存至本地操作端。此处优选的，将基本条件数据库记录为BitSet格式文件，并存储至通用云空间，这一操作一般在离线状态下进行。需要说明的是：BitSet格式是一种压缩存储的集合格式，只能存储符合某些条件的数据集合的索引信息而非数据本身，可以快速完成集合的交集、并集和差集等运算，从而计算出符合复杂筛选条件的数据集合。