[发明专利]海量数据实时筛选分析方法、系统及存储介质

权利要求书

1.一种海量数据实时筛选分析方法，其特征在于，包括如下步骤：

构建基本条件数据库，对基本条件数据库进行压缩后存储至云空间，并对基本条件数据库中每项数据对应的数据列表进行本地缓存；所述对基本条件数据库进行压缩后存储至云空间包括：采用基于RLE的压缩BitSet算法，将基本条件数据库记录为BitSet格式的压缩文件，存储至通用云空间；

根据筛选条件提取基本条件数据库及本地缓存数据中的可用数据；

在浏览器端对可用数据进行筛选，获取中间运算结果及筛选结果；所述在浏览器端对可用数据进行筛选，获取中间运算结果及筛选结果具体为：确定可用数据中符合筛选条件的所有数据列表，将容量最小的数据列表作为筛选结果，并将该最小的数据列表及其他数据列表作为中间运算结果；

对中间运算结果进行存储，并显示筛选结果；

所述构建基本条件数据库，对基本条件数据库进行压缩后存储至云空间，并对基本条件数据库中每项数据对应的数据列表进行本地缓存具体为：汇总所有的基本条件及现有的基本条件集合得到基本条件数据库，并将基本条件数据库记录为压缩文件，存储至云空间，并将基本条件数据库中的每项数据对应的数据列表缓存至本地浏览器端；

所述根据筛选条件提取基本条件数据库及本地缓存数据中的可用数据具体为：提取基本条件数据库中属于筛选条件子集的最大基本条件集合，并根据所述最大基本条件集合确定需提取的剩余基本条件，再在本地缓存中提取所述最大基本条件集合和剩余基本条件各自对应的数据列表。

2.根据权利要求1所述的一种海量数据实时筛选分析方法，其特征在于，所述剩余基本条件为构成筛选条件与所述最大基本条件集合的差集的基本条件。

3.根据权利要求1所述的一种海量数据实时筛选分析方法，其特征在于，所述对中间运算结果进行存储，并显示筛选结果具体为：将中间运算结果缓存至浏览器端，将筛选结果通过浏览器端进行显示。

4.根据权利要求3所述的一种海量数据实时筛选分析方法，其特征在于，所述浏览器端根据预设需求将筛选结果转换为图表或分页列表的形式进行显示。

5.一种海量数据实时筛选分析系统，应用权利要求1所述的海量数据实时筛选分析方法，其特征在于，包括：

基本条件压缩存储模块，构建基本条件数据库，对基本条件数据库进行压缩后存储至云空间，并对基本条件数据库中每项数据对应的数据列表进行本地缓存；所述对基本条件数据库进行压缩后存储至云空间包括：采用基于RLE的压缩BitSet算法，将基本条件数据库记录为BitSet格式的压缩文件，存储至通用云空间；

所述构建基本条件数据库，对基本条件数据库进行压缩后存储至云空间，并对基本条件数据库中每项数据对应的数据列表进行本地缓存具体为：汇总所有的基本条件及现有的基本条件集合得到基本条件数据库，并将基本条件数据库记录为压缩文件，存储至云空间，并将基本条件数据库中的每项数据对应的数据列表缓存至本地浏览器端；

数据提取模块，根据筛选条件提取基本条件数据库及本地缓存数据中的可用数据；

所述根据筛选条件提取基本条件数据库及本地缓存数据中的可用数据具体为：提取基本条件数据库中属于筛选条件子集的最大基本条件集合，并根据所述最大基本条件集合确定需提取的剩余基本条件，再在本地缓存中提取所述最大基本条件集合和剩余基本条件各自对应的数据列表；

数据筛选模块，在浏览器端对可用数据进行筛选，获取中间运算结果及筛选结果；所述在浏览器端对可用数据进行筛选，获取中间运算结果及筛选结果具体为：确定可用数据中符合筛选条件的所有数据列表，将容量最小的数据列表作为筛选结果，并将该最小的数据列表及其他数据列表作为中间运算结果；

数据显示及缓存模块，对中间运算结果进行存储，并显示筛选结果。

6.根据权利要求5所述的一种海量数据实时筛选分析系统，其特征在于，所述数据显示及缓存模块为浏览器或搜索引擎。

7.一种存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的海量数据实时筛选分析方法的步骤。