[发明专利]一种界标窗口下域名数据重复检测快速索引方法

摘要

本发明涉及一种界标窗口下域名数据重复检测快速索引方法。该方法将界标窗口根据子界标分成多个子窗口，通过稳定性布隆过滤器和字典树维护各子窗口的数据项；针对网络数据流自适应地调整索引策略，在数据较为密集时采用稳定性布隆过滤器，在数据相对稀疏时采用字典树索引策略。在域名数据重复检测的适配方面，本发明提出将域名数据翻转，形成重叠前缀字符串比率较高的数据集，有利于后续字典树的快速匹配和存储容量缩减。本发明能够降低索引维护的空间，提升元素重复检测的效率，并能够扩展到分布式场景下，有效解决网络监控应用中域名数据重复检测的问题，同时，本发明可以扩展到分布式计算场景下，便于计算性能线性提升。

主权项

1.一种界标窗口下域名数据重复检测快速索引方法，其步骤包括：1)将界标窗口根据子界标分成多个子窗口，通过稳定性布隆过滤器和字典树维护各子窗口的数据项；2)针对网络数据流自适应地调整索引策略，在数据较为密集时采用稳定性布隆过滤器，在数据相对稀疏时采用字典树索引策略；在单一计算节点进行域名数据重复检测的步骤包括：(1)初始化系统检测标记位flag，并初始化系统使用的数据结构；(2)接收输入元素e；(3)在当前维护的界标子窗口稳定性布隆过滤器数组中检测元素e是否存在；如果存在，跳转流程(4)；如果不存在，跳转流程(5)；(4)设定全局标记位flag＝true；返回flag并结束；(5)在当前维护的界标子窗口字典树数组中，按照界标时效性逐一检测元素e是否存在，如果存在则跳转流程(4)，如果不存在则跳转流程(6)；(6)插入新元素e；(7)判断当前界标子窗口是否采用稳定性布隆过滤器维护，如果是则跳转流程(8)，如果否则跳转流程(10)；(8)随机选择p个计数器单元，将其计数器值减1；(9)计算k个哈希坐标，将其计数器值设置为max；跳转流程(11)；(10)在当前字典树中新增元素e；(11)设定全局标记位flag＝false；返回flag并结束。