[发明专利]一种云数据中心的负载预测方法

说明书

技术领域

本发明涉及数据中心性能监控预测领域，主要涉及机器学习和深度学习领域相关技术。具体来讲，主要是提出了一种在云计算数据中心通过多种性能特征融合，并加上人工干预的方式，对数据中心的负载做出一个准确的预测的方法，更加适用于情况愈发复杂多变的云数据中心。

背景技术

当今时代是一个大数据的时代。据统计，2013年时，全球的互联网每天就会产生1EB的数据(即10亿GB)，并且随着时间的推移，数据的增长速度只会越来越快。这些数据中蕴藏着巨大的价值，要利用它们首先要存储它们。而传统的数据中心已经不能满足相应的要求，相比于传统的数据中心，云数据中心具有高度的虚拟化，更大的规模化，管理的自动化，绿色节能化等优势。但是，相对应的，云数据中心由于它的种种特性导致它的状态更加的多变。对于云数据中心状态的要求不仅限于它的状态监控，对于它状态的预测也成为一个热门话题。如果我们拥有一个好的预测方法，就可以将部分物力资源做更好的规划。如果预计到未来负载量较少，可以通过资源调度将部分资源集中在某些服务器上，让剩余空闲的服务器关闭服务以节省资源。

对数据中心热点的预测实际上就是对数据中心服务器负载的时间序列曲线的趋势预测。针对这个问题，目前国内外已经有很多关于负载预测领域的研究，期望通过不同的方式来提高预测的准确性。之前的大部分预测工作的算法集中在回归，移动平均，噪声滤波等，对于传统的数据中心它们被证明了拥有不错的预测效果。但是对于多变的云数据中心大多却不再适用。

近些年出现的机器学习，主要研究了计算机如何模拟人的思考学习行为，使得预测这一领域又有了新的发展。机器学习发展到21世纪初期，出现了“大数据”的概念，随着数据量越来越大，许多传统的方法渐显出一些弊端，或是分析结果不对，或是收敛速度太慢。2006年，多伦多大学的Hinton教授和他的团队发表文章，提出了一种基于深度信念网络的快速学习算法，拉开了深度学习的大门。深度学习相比与传统的机器学习,更专注于提取数据中的特征表示，因此也更适用于没有标签的数据。这种学习方式叫做无监督的学习。因为相比于有标签的数据，大量无标签的数据更容易获得，如果尽量提取这些无标签数据中的有效信息，也就是深度学习的核心，因此深度学习也是一种更接近于人脑的学习机制。所以将深度学习的思路应用到云数据中心的负载预测上会提高很多精度。

但是纵使是深度学习也不能完全解决生活中所存在的很多问题，特别是云数据中心中存在着大量不确定的情况难以预知。比如某网站某日晚十点要开放预售某位歌星的演唱会门票，人自然而然会想到，等到抢票通道开放的时候必然会造成服务器负载突然增高，但是这一点计算机无法预知，因此人机交互的预测可能会更加符合未来的预测模式。

发明内容

本发明针对现存绝大部分云数据中心架构，创造性地提出了一种带人工干预的特征融合式预测算法，很好地解决了目前云数据中心多变性难以掌控的局限性。本算法采用深度学习算法提取特征并将多种性能指标进行融合，并加入人工干预来辅助预测，将大大提高预测的精度。同时算法模块间依赖性小，可以放在分布式系统上进行，大大提高了运行所需的时间。

本发明的发明目的通过以下技术方案实现：

一种云数据中心的负载预测方法，其特点在于，该方法包括如下步骤：

步骤1，采集预测云数据中心的历史数据，并进行归一化处理；

步骤2，计算CPU历史数据与其余各性能指标的相关性，相关性大于阈值φ的性能指标加入集合A。

步骤3，时间窗口提取：随机抽取时间窗口，时间窗口长度根据实际情况来设定，其中时间窗口前一部分作为预测的输入，后一部分作为训练时的预测输出；

步骤4，特征提取：用三层自编码神经网络对于CPU历史数据集合A中各性能指标进行压缩得到各性能指标特征；

这里限定自编码神经网络为一个只有一个隐含层的三层神经网络，将通过神经网络变换之后的输出向量设置为与输出这个网络的向量一致的向量。并且限定中间隐含层的单元数为输入层单元数的60％。

步骤5，特征融合：将步骤4得到的各性能指标特征进行拼接后，输入到自编码神经网络中，做进一步压缩，最终得到一个共同的压缩特征；

步骤6，添加人工干预：在同样的时间窗口上，人对于可能预知要发生热点，及热点的程度做出自己的判断。即在时间序列上加入人为权值。这种操作通常直接通过简单的点击操作即可完成。加入权重根据下式获得：