[发明专利]一种数据流概念漂移检测方法及系统

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种数据流概念漂移检测方法及系统。

背景技术

数据的概念漂移是数据流处理的第二大研究问题。目前，数据流概念漂移检测主要有几种方案：基于统计的、基于分类器以及基于划分的。数据概念漂移根据演变过程的激烈程度分为两种：渐进型、突发型。第一种方法基于统计的是对二进制表示的数据的一种基于密度的评估技术，第二种方法基于分类器的是评估一个线性分类器的平均裕度的检测方案，第三种方法基于分类器的平均错误率的对数据概念漂移检测。

然而，对于纯基于统计的检测方案，该方法不能很好地体现聚类处理中的簇集变化的情况，可能受到一些噪声的影响，并且纯从数学的角度分析，与聚类中的簇集信息可能存在不符。比如：假设数据的簇中的数据点围绕着原来的簇中心，在其半径范围内移动时，正常而言簇集的中心位置信息是没变的，但是利用统计的检测方案就可能对检测这是已经演变了，精确性不够。

对于基于分类器的方案，该方法需要人工的参与，通过带有人工标注的标签的数据，构建相应的分类树，然后进行相应的检测。这种方法很明显会有一个缺点：需要人工的参与。在数据流环境下，数据是不断的，并且可能时刻都在变更，数据特性也在演变，意味着所谓的标签也应该随着演变，但是人工很难知道什么时候演变、什么时候添加或更新新的样本数据，准确度不高。

对基于划分的方案，如数据流中使用的方法，将空间划分成多个网格，并将新的数据映射到相应的网格，基于每个网格进行处理。这种方案的缺点是原来属于一个簇集的数据会被拆分到不同的格子中，针对每个网格进行分类，可能会导致簇集的信息的检测的不完整，不能全面地分析。

发明内容

为了解决上述技术问题，本发明的目的是提供一种准确性高，能全面进行检测的一种数据流概念漂移检测方法。

本发明的另一个目的是提供一种准确性高，能全面进行检测的一种数据流概念漂移检测系统。

本发明所采用的技术方案是：

一种数据流概念漂移检测方法，包括以下步骤：

A、根据簇集、旧数据集和待检测数据集，计算旧数据集的簇容忍点集距离平方总和与待检测数据集的簇容忍点集距离平方总和；

B、根据衰退函数和待检测数据集，计算簇集中各个簇的簇演变值；

C、通过分析得到对应待检测数据集的簇不可容忍点集并对其数据点进行划分形成新簇集，进而计算新簇集中各个簇的新簇接受值；

D、根据计算得到的簇演变值、新簇接受值、旧数据集的簇容忍点集距离平方总和与待检测数据集的簇容忍点集距离平方总和，计算概念漂移级别值。

作为所述的一种数据流概念漂移检测方法的进一步改进，所述的步骤A包括：

A1、根据旧数据集和簇集，计算旧数据集中数据点与簇集中各个簇之间的距离，进而得到数据点的最近簇并将数据点划分到其对应最近簇中；

A2、通过计算簇集中各个簇的簇容忍距离，得到对应旧数据集的簇集各个簇的簇容忍点集的集合；

A3、根据簇集中各个簇的簇容忍距离和待检测数据集，得到对应待检测数据集的簇集各个簇的簇容忍点集的集合；

A4、根据对应待检测数据集的簇集各个簇的簇容忍点集的集合，计算待检测数据集的过度分散值；

A5、根据对应旧数据集的簇集各个簇的簇容忍点集，计算各个簇容忍点集中数据点与对应簇的距离平方和，进而对得到的多个距离平方和进行总和计算，得到对应旧数据集的簇容忍点集距离平方总和；

A6、根据对应待检测数据集的簇集各个簇的簇容忍点集，计算各个簇容忍点集中数据点与对应簇的距离平方和，进而对得到的多个距离平方和进行总和计算，得到对应待检测数据集的簇容忍点集距离平方总和。

作为所述的一种数据流概念漂移检测方法的进一步改进，所述的步骤C包括：

C1、根据簇集中各个簇的簇容忍距离和待检测数据集，得到对应待检测数据集的簇集各个簇的簇不可容忍点集的集合；

C2、根据簇集中各个簇的簇容忍距离，对簇不可容忍点集中的数据点通过聚类处理将其划分至簇集中，形成新簇集；

C3、根据新簇集和簇新增阈值，计算新簇集中各个簇的新簇接受值。

作为所述的一种数据流概念漂移检测方法的进一步改进，所述步骤A4中所述的过度分散值，其计算公式为：