[发明专利]一种面向内存键值表的子集过滤器

说明书

本发明公开了一种面向内存键值表的子集过滤器，主要分为五个部分：子集过滤器的定义、子集过滤器的数据项存储、子集过滤器的数据项更新、子集过滤器的重建和子集过滤器的扫描。本发明支持任意类型指标数据的过滤，支持指定任意数据特征的过滤，从而提供灵活的扫描方式，并且扫描时不需要遍历全部的指标数据，有效加速扫描操作。本发明可应用于大部分的内存键值表，具有一定的通用性。

技术领域

本发明涉及风控、反欺诈等需要进行高频实时信息处理和存储的金融领域，涉及一种面向内存键值表的子集过滤器。

背景技术

在风控、反欺诈等需要实时计算的金融领域，不仅仅需要计算如“某实体过去1天的交易量”、“某实体过去1星期最大交易额”等金融指标，而且还需要进行如“寻找话费充值后30分钟内进行3C交易，再10分钟内进行贵重物品交易的实体”、“寻找相邻2笔交易金额总额超过100万元的交易实体”等复杂事件的计算和处理，这些计算需要对交易实体的指标数据进行扫描，指标数据保存在内存键值表中，因此加速内存键值表的扫描对于该类计算非常重要。

由于扫描内存键值表的全部数据时间开销巨大，目前面向内存键值表的扫描加速方法主要为构建索引，通过索引加速扫描操作，索引主要为下列2类：

(1)基于字典树的前缀索引。Redis采用了该索引方法，对键进行索引，从而实现了前缀扫描。

(2)基于B+树的索引。Aerospike采用了该索引方法，对特定类型的值(如字符、整数)进行索引，以实现该类数据的范围扫描。

在金融风控、反欺诈的复杂时间处理和计算场景下，扫描的事件和指标数据越来越复杂，扫描的方式越来越灵活多样，而上述的索引方法难以满足这些扫描需求，存在下列2点缺陷：

(1)索引支持的数据类型有限：数据格式受限于字符串、整数等普通数据类型，无法满足复杂事件和计算指标的索引需求。

(2)基于索引支持的扫描方式有限：基于字典树的前缀索引只支持字符串的前缀扫描，而基于B+树的索引只支持特定有序数据的范围扫描，满足特定条件的复杂事件和计算指标的扫描，其效率十分低下。

综上所述，上述已有索引加速扫描的方法无法完全满足风控、反欺诈等金融实时计算和复杂事件处理的扫描需求。

发明内容

针对上述已有索引加速扫描的方法所产生的问题和缺陷，本发明提出了一种面向内存键值表的子集过滤器，加速了风控、反欺诈等金融实时计算和复杂事件场景下对于内存键值表指标数据的扫描操作。

本发明的目的是通过以下技术方案来实现的：一种面向内存键值表的子集过滤器，所述子集过滤器设置有用于抽取键值对特征的过滤器函数以及匹配值，当抽取的键值对特征与匹配值一致时，子集过滤器记录键值对的内存地址；所述子集过滤器包括子集过滤器构建模块、数据项存储模块、数据项更新模块和扫描模块；

所述子集过滤器构建模块用于根据内存键值表构建一个子集过滤器，子集过滤器构建模块标记内存键值表为不可写状态，并通过过滤器函数抽取内存键值表中所有键值对数据的键值对特征，与匹配值一致时，将键值对内存地址保存到子集过滤器中；

所述数据项存储模块用于将子集过滤器记录的键值对的内存地址存储在链表中；

所述数据项更新模块用于在内存键值表对某个键值对执行完更新操作时，通过过滤器函数抽取更新后的键值对特征，当更新后的键值对特征与匹配值一致时，记录更新后的键值对的内存地址；并遍历数据项存储模块中的链表，若链表中存在旧键值对内存地址，则将其修改为更新后键值对的内存地址，否则创建新的链表项，保存更新后键值对的内存地址；

所述扫描模块用于加速对具有特定特征键值对的扫描，根据扫描线程的数量，将数据项存储模块中的分段平均分配给每个扫描线程；每扫描到一个对应特定特征键值对的内存地址，根据内存地址获取内存键值表的键值对数据。