[发明专利]一种大数据的多密集块检测与提取方法

说明书

本发明公开了一种大数据的多密集块检测与提取方法，旨在解决现有技术中密集块检测方法存在的检测准确率和召回率低的技术问题。其包括：获取K维张量数据D、待提取密集块个数m和密集块尺寸范围；利用基于分段函数的密度跟踪系数对K维张量数据D进行可疑程度度量，并根据可疑程度和密集块尺寸范围生成snapshots列表；根据snapshots列表从K维张量数据D中提取m个密集块。本发明能够在保证检测效率的同时能够有效提高密集块的准确率和召回率。

技术领域

本发明涉及一种大数据的多密集块检测与提取方法，属于异常数据检测技术领域。

背景技术

随着大数据时代的到来，异常数据的检测越来越重要，包含网络攻击的异常数据通常具有“一致性”，比如：一组IP地址每隔相同的时间就向一组目标IP的几个固定端口发送请求；购买僵尸粉以提高影响力的欺诈行为数据会呈现出一群特定用户所关注的用户具有高度的一致性。通过建立张量模型，上述异常数据的“一致性”会使张量数据出现密集块，因此可以通过检测与提取张量数据中的密集块来实现网络攻击检测、社交网络僵尸粉检测等异常数据检测功能。

现阶段，针对张量模型的密集块检测与提取方法主要包括：

1、基于张量分解的密集块检测方法，具体包括HOSVD和CP分解等方法，此类方法虽然可以检测到密集块，但是其在密度指标下不具有较高延展性，而且不能提供合理的边界。

2、基于Suspiciousness的CrossSpot检测方法，该方法提出一种Suspiciousness度量指标，用于度量一个密集块可疑程度大小，并提出了一种CrossSpot方法，用于检测一个张量中的密集块，但该方法只能检测单一密集块，并且如果张量中包含多个相同规模的密集块，会将几个密集块合并为一个大的密集块，导致检测结果正确率不高。

3、M-Zoom密集块检测框架，该技术提出了一种密集块检测框架，适用于不同度量指标，并且可实现多密集块检测，但仍然无法解决相同规模密集块被合并导致检测准确率下降的问题。

4、基于二叉树的可疑块检测方法，该方法基于二叉树将每次检测出来的密集块放在左叶子，并对该密集块视作普通张量，进行进一步分解，同时设计了一种数学度量方法，确定本叶子的密集块是否终止分解，若满足数学度量规则，则继续分解，若不满足，终止分解，以此类推，直到所有叶子节点终止分解。该方法解决了同规模密集块合并问题，但存在两个问题：第一，每次需先分解再判断终止条件是否满足，效率很低；第二，由于采取的是分解方法，因此，找到的前k个密集块，无法保证是可疑程度最大的k个密集块。

发明内容

针对现有的密集块检测方法存在的检测准确率低的问题，本发明提出了一种大数据的多密集块检测与提取方法，在判断可疑程度时加入一个基于分段函数的密度跟踪系数，令密度高的密集块获得更高的可疑程度，提高密集块的检测准确率。

为解决上述技术问题，本发明采用了如下技术手段：

本发明提出了一种大数据的多密集块检测与提取方法，包括如下步骤：

获取K维张量数据D、待提取密集块个数m和密集块尺寸范围；

利用基于分段函数的密度跟踪系数对K维张量数据D进行可疑程度度量，并根据可疑程度和密集块尺寸范围生成snapshots列表；

根据snapshots列表从K维张量数据D中提取m个密集块。

进一步的，利用基于分段函数的密度跟踪系数对K维张量数据D进行可疑程度度量的方法包括：

将K维张量数据D作为输入数据；

将输入数据的每个维度下计数最少的一列删除，获得每个维度的剩余块b_i，其中，i表示维度，i＝1,2,…,K；