[发明专利]一种数据处理方法以及数据处理装置

说明书

本申请实施例提供一种数据处理方法以及数据处理装置，方法包括：获取目标元素；计算得到所述目标元素的元素指纹；通过全局哈希函数根据所述元素指纹选取过滤器的分段；在选取的所述分段中采用布谷鸟哈希算法对所述元素指纹进行数据处理；其中，所述过滤器包括多个分段，所述分段包括多个存储单元格，所述存储单元格包括多个用于存储所述元素指纹的存储位。采用上述数据处理方法可以实现目标元素相对于过滤器并行操作，例如并行得元素插入、元素查询和元素删除等，因此保证了过滤器更好的数据吞吐量。并且，通过采用布谷鸟哈希算法，可以保证目标元素的查询精度，以及，可以保证目标元素的查询和删除均为常数时间复杂度。

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种数据处理方法以及数据处理装置。

背景技术

数据库系统可以采用摘要数据结构来表示和存储数据集，并支持常数时间复杂度的近似成员查询，典型摘要数据结构包括布隆过滤器及其变种，以及，布谷鸟过滤器及其变种。

布隆过滤器利用固定长度的比特向量中k个比特的值来表征元素是否属于给定集合，提供常数时间复杂度的元素插入和查询，但布隆过滤器查询性能弱，容易导致极高的查询的误报率；另外，布隆过滤器的空间利用效率低，且不支持反向操作。相比之下，布谷过滤器提供两个候选单元格来存储元素指纹，可实现精确的元素表示以及常数时间复杂度的查询与删除。

然而，布谷鸟过滤器序列性地插入、查询和删除元素容易导致数据操作耗时，处理效率低，此种局限性在面对大体量数据集时尤为明显。

发明内容

本申请实施例的目的在于提供一种数据处理方法以及数据处理装置，用于改善数据操作的操作效率。

基于上述目的，第一方面，本申请实施例提供一种数据处理方法，包括：

获取目标元素；

计算得到所述目标元素的元素指纹；

通过全局哈希函数根据所述元素指纹选取过滤器的分段；

在选取的所述分段中采用布谷鸟哈希算法对所述元素指纹进行数据处理；

其中，所述过滤器包括多个分段，所述分段包括多个存储单元格，所述存储单元格包括多个用于存储所述元素指纹的存储位。

采用上述数据处理方法，在过滤器一个分段中的数据操作不会影响其他分段中的数据操作，从而可以实现目标元素相对于过滤器并行操作，例如并行得元素插入、元素查询和元素删除等，因此保证了过滤器更好的数据吞吐量。并且，通过采用布谷鸟哈希算法，可以保证目标元素的查询精度，以及，可以保证目标元素的查询和删除均为常数时间复杂度。

在一种可能的实施方式中，在选取的所述分段中采用布谷鸟哈希算法对所述元素指纹进行数据处理步骤包括：

根据所述元素指纹选取两个所述存储单元格为两个候选单元格；

在所述元素指纹能够存入两个所述候选单元格时，将所述元素指纹存入；

在所述元素指纹无法存入两个所述候选单元格时，随机将两个所述候选单元格中已经存在的第一指纹踢出，并将所述元素指纹存入所述第一指纹空出的所述存储位。

在一种可能的实施方式中，被踢出的所述第一指纹进入重分配步骤，所述重分配步骤包括：

根据所述第一指纹以及所述第一指纹被踢出前所在的存储单元格，获得与所述第一指纹对应的另一存储单元格；

当所述第一指纹能够存入所述另一存储单元格时，将所述第一指纹存入；

当所述第一指纹无法存入所述另一存储单元格时，随机将所述另一候选单元格中已经存在的第二指纹踢出，将所述第一指纹存入所述第二指纹空出的位置。