[发明专利]一种基于深度置信网的数据流系统资源预测机制

说明书

本发明提出一种基于深度置信网(DBN)的数据流系统资源预测机制，采用无监督的深度学习，以DBN为基础，进行时间序列分析来实现。该机制分为两个阶段，数据预处理和模型训练阶段：数据预处理阶段主要采取平滑的方法对数据进行预处理，从原始的时间序列数据生成一个差分变换以消除数据中的线性因素；模型训练阶段由两层RBMs构成的DBN网络模型对数据进行拟合训练，然后对节点负载做预测分析。该发明的深度学习机制，提供短期负载情况和长期负载情况的预测，可在提交计算任务时全面了解系统的状态。

技术领域

本发明涉及深度学习、时间序列分析、流数据处理领域，具体涉及到一种基于深度置信网的数据流系统资源预测机制。

背景技术

数据流的日志采集系统通常会面临系统资源的匮乏问题，如何调度系统资源实现合理分配是系统效率高低的重要保障。如日志收集系统Flume，也存在节点负载资源的缺乏，无法预知某时间段的系统状态以及长时间或短时间的资源负载情况。深度置信网作为无监督的深度学习网络模型，可以实现模型的自动训练，以时序数据作为训练，预测资源负载情况。近年来最接近本发明的技术有：

(1)、深度置信网络:DBN是一个概率生成模型，Hinton于2006 年提出了基于玻尔兹曼机(RBM，Restricted Boltzmann Machine) 的深度置信网络(Deep Belief Network)结构。最初该网络应用在图像领域的研究之中，近年来深度置信网络在序列学习方面带来了新的应用，为此创新应用到资源负载预测方面。

该方法对于深度学习资源数据之间的关系，实现对系统长期资源以及短期资源的粗略预估，提高了系统状态的透明度。

发明内容

为解决现有技术中的缺点和不足，本发明提出了一中基于深度置信网(DBN)的数据流系统资源预测机制，解决数据流系统资源负载的预测。

本发明的技术方案为：

采用无监督的深度学习，以DBN为基础，进行时间序列分析。主要包括预处理和模型训练阶段，数据预处理阶段主要采取平滑的方法对数据进行预处理，从原始的时间序列数据生成一个差分变换以消除数据中的线性因素；模型训练阶段由两层RBMs构成的DBN网络模型对数据进行拟合训练，然后对节点负载做预测分析。

本发明的有益效果：

(1)在深度置信网(DBN)的基础上，以负载数据的时间序列分析为手段加以实现，实现在提交计算任务时全面了解系统的状态。。

(2)提供短期负载情况和长期负载情况的预测，保证数据流系统资源的合理调度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明机制网络模型图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明基于深度置信网(DBN)的数据流系统资源预测机制预测器如图1所示，机制包括数据预处理、模型训练两个阶段。

数据预处理：

神经网络对于非线性数据能起到很好的预测作用，但是对于线性因素很强的数据则预测效果会减弱。采取平滑方法对数据进行预处理，从原始的时间序列数据生成一个差分变换