[发明专利]一种混杂数据流分流量峰值预测方法

说明书

本发明的目的是：提高混杂数据流中分流量峰值预测的结果。为用户或系统提供更加准确的系统流量信息，并对系统的弹性伸缩提供更为准确的指标参数。为了达到上述目的，本发明的技术方案是提供了一种混杂数据流分流量峰值预测模型与方法。本发明提出延迟相关系数模型，在原有的时差相关分析法中引入了滑动时间窗口，可以更有效地计算得到延迟时间与延迟相关系数。本发明提出的混杂数据流分流量峰值预测方法，在原有单一预测模型的结果基础上引入辅助分流量对主分流量的影响，最终提高了最终峰值预测的结果。

技术领域

本发明涉及一种混杂数据流分流量峰值预测模型与方法，属于网络流量预测技术领域。

背景技术

随着我们的社会进入一个由数字数据主导的时代，我们已经看到了前所未有的数据量、速度和多样性。及时处理海量的高速数据已经成为一个主要的需求。处理大规模业务的流处理系统应运而生，如Storm、System S、Spark Streaming、Flink等。在流处理系统的实际应用中需要应对的一个复杂挑战是主动的弹性伸缩。在大规模业务系统环境中,短时的大规模用户合法行为聚集会造成系统行为异常,使得系统可用性受到极大的损害。这时需要对系统进行弹性伸缩以提高系统处理能力或提高资源利用率。

因此在主动的弹性伸缩中对于流量的峰值预测尤为重要。现有的主动弹性伸缩的研究中，较少研究流处理系统中存在业务相关的混杂数据流的分流量峰值预测方法。而分流量峰值预测方法能够为主动弹性伸缩提供更为准确的伸缩方向。

现有的网络流量预测将网络流量视为一个整体的流量。在文献中已经提出了几种用于网络流量预测的方法。传统的线性模型包括自回归模型(AR)、移动平均模型(MA)、自回归移动平均模型(ARMA)、自回归合成移动平均模型(ARIMA)等。同时随着神经网络，支持向量机等技术的不断提出，出现了基于机器学习算法的预测模型，例如人工神经网络，多层感知器(MLP)，深度(deep learning)等。这些预测模型能够较好地解释流量的随机性和周期性。其中循环神经网络(recurrent neural network，RNN)是一种引入循环反馈的深层神经网络，考虑到时间序列的时序相关性，在学习具有长期依赖的时序数据上表现出更强的实用性。长短期记忆(long short-term memory，LSTM)循环神经网络作为RNN的一种特殊模型，能够学习时序数据之间的长期依赖关系，有效地解决了常规RNN训练过程中的梯度消失和梯度爆炸问题，在时间序列预测领域得到广泛应用。

但是上述方法将流量视为一体忽视了网络流量作为混杂流，其中各数据流之间可能存在的相关性。因此在混杂数据流中，对于分流量的预测缺少相关性的研究。同时由于混杂流中任意一时刻的数据的不确定性，导致混杂流中不同数据流之间的相关性难以确定。

发明内容

本发明的目的是：提高混杂数据流中分流量峰值预测的结果，为用户或系统提供更加准确的系统流量信息，并对系统的弹性伸缩提供更为准确的指标参数。

为了达到上述目的，本发明的技术方案是提供了一种混杂数据流分流量峰值预测方法，其特征在于，包括以下步骤：

步骤1、输入混杂数据流，混杂数据流包括要预测的主分流量及辅助分流量；

步骤2、计算混杂数据流中要预测的主分流量与其他辅助分流量之间的延迟相关系数与延迟时间，包括以下步骤：

步骤201、将主分流量定义为X＝{x₁，x₂，…，x_l}，将辅助分流量定义为P＝{y₁，y₂，…，y_l}，式中，l为观测值个数，x_l表示主分流量中第l个观测值，y_l表示辅助分流量中第l个观测值，计算主分流量X与辅助分流量Y之间的延迟相关系数，得到最佳的延迟时间与延迟相关系数；