[发明专利]一种基于动态流数据集成分类的视频流量异常检测方法

说明书

本发明涉及一种基于动态流数据集成分类的视频流量异常检测方法。本发明首先，使用概念漂移检测机制划分滑动窗口，每个视频滑动窗口中的数据分布是稳定的，即滑动窗口中不包含概念漂移，解决了视频流量数据中的概念漂移问题。基于概念漂移检测机制进行滑动窗口的划分，可以适应性地调节滑动窗口的大小。即滑动窗口的大小是无需事先确定的。其次，使用了增强在线提升算法，通过提高模型训练时小样本的训练权重，可以提高集成分类模型对小样本的识别率。然后，使用基于性能的集成剪枝技术去除性能差的基础分类器，性能差的基础分类器会降低集成分类模型的预测性能。最后，使用剪枝后的集成分类模型对流数据进行分类。

技术领域

本发明涉及一种基于动态流数据集成分类的视频流量异常检测方法。

背景技术

在大数据的应用背景下，产生了一种海量、实时、动态的数据形式，被称为流数据或数据流。视频流量数据可以被看作流数据，可使用流数据挖掘的方法进行处理。一方面，视频流量数据是不断产生的，因此无法使用全部的视频流量数据进行批处理训练分类模型。数据到达的速度很快，通常采用增量学习或者在线学习的方式，随着数据的到达不断地更新视频流量数据挖掘模型。另一方面，视频流量数据的数据分布会随着时间不断变化，这种数据分布的动态性被称为概念漂移。数据分布的动态性会导致由过去时刻训练得到的视频流量挖掘模型无法正确处理新达到的视频流量数据。传统的静态模型将无法捕捉视频流量数据的动态性，因此，视频流量数据挖掘模型需要使用新来的视频流量数据对模型不断进行更新，以应对概念漂移问题。

视频流量数据的类别分布往往是不平衡的。在二元分类任务中，类别不平衡问题是指某一个类别的样本数量明显少于另一类别样本的数量。在视频流量数据异常检测领域中，属于异常类的视频流量数据被称为小样本，其余的样本被称为大样本。可使用流数据分类方法进行异常网络数据的检测。若不使用任何类别不平衡处理机制，流数据分类模型的性能往往会偏向于正常视频流量数据。然而，模型对异常视频流量数据的分类性能将会很差，并且异常视频流量数据往往具有更为丰富的数据信息。

概念漂移和类别不平衡的联合问题会复杂化异常视频流量检测的难度。例如，在概念漂移检测领域，基于分类性能稳定性的概念漂移检测方法对不平衡率非常敏感，从而不能及时识别出数据分布的变化。同时，类别不平衡处理技术需要随着不平衡率的变化而适应性地调整。

相比于单分类器模型，流数据集成分类模型在最终预测时同时考虑了所有基础分类器的预测值，因此流数据集成分类模型具有更好的泛化能力。基于每次处理的流数据的样本数量，流数据集成分类模型可以分为在线集成分类算法和基于数据块的集成分类算法。在线集成分类算法每次只使用一个流数据项进行模型更新，因此算法的时间花费较高且模型的性能不稳定。基于数据块的集成分类器需要积累到一定的样本后，才能够进行基础分类器的训练。即基于数据块的集成分类算法的基础分类器训练是采用了传统的批处理方式。模型的训练过程基于连续的数据块，则基于数据块的集成分类器的性能相比于在线集成分类器，模型的性能更加稳定。

发明内容

为了处理视频流量数据中概念漂移和类别不平衡的联合问题，本发明旨在提供一种基于动态流数据集成分类的视频流量异常检测方法。

本发明的具体是：

步骤1）基于概念漂移检测机制获取适应性视频滑动窗口。

步骤 2）将当前获得的适应性视频滑动窗口中的视频流量数据随机划分为两个子集：训练子集与测试子集。

步骤 3）在获取的训练子集中，采用增强在线提升算法，获得流数据集成分类模型。所述增强在线提升算法的每一轮流数据训练中，不仅仅赋予上一轮模型训练中被错分类的样本较高的训练权重。同时提高小样本的权重，即错分类的小样本被赋予较高的权重用以模型训练。

步骤 4）对于当前训练得到的流数据集成分类模型，使用基于分类性能阈值的集成剪枝技术去除性能最差的若干基础分类器，得到视频流量异常检测模型。