[发明专利]数据处理方法、装置、设备及计算机存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

生成数据分区；

根据数据是否位于所述数据分区中的判定结果，生成存储所述判定结果的数据结构；

存储所述数据分区及所述数据结构；其中，所述数据结构用于基于查询条件确定所述数据分区是否为有效分区；

所述根据数据是否位于所述数据分区中的判定结果，生成存储所述判定结果的数据结构包括：

对所述数据分区的最大数据和最小数据构成的数据范围进行数据段划分，并构建表示数据段的节点以建立二叉树；

如果判定任一个数据段中包含的全部数据均未处于所述数据分区中或者均处于所述数据分区中，确定所述任一个数据段对应节点为叶子节点，并在所述叶子节点存储判定结果；否则对所述任一个数据段继续进行数据段划分；

生成所述二叉树对应的数据结构。

2.根据权利要求1所述的方法，其特征在于，所述对所述数据分区的最大数据和最小数据构成的数据范围进行数据段划分，并构建表示数据段的节点以建立二叉树包括：

对所述数据分区的最大数据和最小数据构成的数据范围，采用二分查找算法进行数据段划分，并构建表示数据段的节点以建立二分查找树。

3.根据权利要求1所述的方法，其特征在于，所述生成所述二叉树对应的数据结构包括：

利用最大数据和最小数据构成的数据范围表示所述二叉树的根节点；

对于所述二叉树中的非叶子节点，利用两个不同字符表示其连接的两个孩子节点是否为叶子节点；

对于所述二叉树中的叶子节点，利用两个不同字符表示其包含的全部数据是否位于数据分区中。

4.根据权利要求3所述的方法，其特征在于，所述对于所述二叉树中的非叶子节点，利用两个不同字符表示其连接的两个孩子节点是否为叶子节点包括：

对于所述二叉树中的非叶子节点，利用字符0及字符1分别表示其连接的两个孩子节点是否为叶子节点；

所述对于所述二叉树中的叶子节点，利用两个不同字符表示其包含的全部数据是否位于数据分区中包括：

对于所述二叉树中的叶子节点，利用字符0及字符1分别表示其包含的全部数据是否位于数据分区中。

5.根据权利要求1所述的方法，其特征在于，所述根据数据是否位于所述数据分区中的判定结果，生成存储所述判定结果的数据结构包括：

将所述数据分区中的数据通过哈希函数映射至布隆过滤器中；其中，所述布隆过滤器用于检索所述查询条件中的目标数据是否位于所述布隆过滤器中，以确定所述数据分区是否为有效分区。

6.根据权利要求1所述的方法，其特征在于，所述存储所述数据分区及所述数据结构包括：

将所述数据分区存储至远端存储介质中；

将所述数据分区对应的所述数据结构存储至本地磁盘或本地内存中。

7.根据权利要求6所述的方法，其特征在于，所述将所述数据分区对应的所述数据结构存储至本地磁盘或者本地内存中包括：

如果所述数据分区的访问频率高于预定频率，将所述数据分区对应的所述数据结构存储至本地磁盘或者本地内存中。

8.根据权利要求1所述的方法，其特征在于，所述根据数据是否位于所述数据分区中的判定结果，生成存储所述判定结果的数据结构包括：

根据所述数据分区中的目标列对应数据是否位于所述数据分区中的判定结果，生成存储所述判定结果的数据结构。

9.根据权利要求1所述的方法，其特征在于，所述生成数据分区包括：

针对数据库表中冷数据对应字段，生成数据分区。