[发明专利]一种数据中心在线服务资源预测方法

说明书

一种数据中心在线服务资源预测方法属于数据中心云计算领域，分为周期提取、利用子序列训练模型、利用预测模型进行在线负载资源预测等三个步骤。本方法针对在线负载在运行过程中资源使用量具有明显的周期性特征，收集在线负载资源序列样本，对资源序列进行周期识别以及资源序列划分；然后对于划分得到的子序列直接训练LSTM模型，利用其实现直接跨周期预测；不理想的预测结果提示重新训练。

技术领域

本发明属于数据中心云计算领域，具体涉及数据中心在线服务资源使用的周期分析和预测方法。

背景技术

数据中心的负载可以分为在线与离线两类负载。前者指基于用户请求的实时运算作业，其资源使用量常常与用户请求量呈正相关而动态变化，并且存在天然的周期性。经典的例子有搜索引擎服务与即时社交媒体。相对的，离线负载常常以批次提交，产生结果对时效性要求较宽松，支持任务失败重启，且资源占用量相对恒定。这类的典型包括数值拟真计算，机器学习模型训练等。

数据中心的负载常常兼有在线与离线负载。当在线负载迎来峰值时，现有的调度方案抑或使用自适应算法，当在线负载达到某阈值时提高分配量；抑或提前为其超额分配大量计算资源。前者的滞后性使其难以满足在线负载的对于即时响应的需求。后者造成了有限的计算资源的浪费。

因此，我们期待如果能够准确，快速地预测在线服务的资源占用，指导调度系统根据预期占用动态分配资源，则对于数据中心而言可以实现更加高效利用其现有资源，实现更好的经济效益，与更大的社会价值。

比较下，现有的在线预测方案存在的问题有：

1)过分关注海量数据、对于周期性特征利用不充分：传统机器、深度学习方案通过大量计算，从数据中自行提取出自相关关系。这样的作法固然通用性较强，但也带来较高的计算开支。

2)无法在周期识别基础上刻画周期间的差异：如果使用识别出的周期按传统统计方法进行回归，虽然计算开支小，但是现实负载的变化也体现在周期间同时刻点(同位点)之间的非完全对称性，是这种方案难以描绘的。

因此，针对以上问题，我们指出，通过预先提取并设定一个周期，并调整算法使其直接考虑同位点序列，在负载预测时可以一定程度上调和精确度和计算开支的矛盾。

发明内容

针对上述问题，本发明提出以一种基于周期识别和LSTM模型的在线负载资源预测方法。本发明首先对在线负载的CPU使用量的周期值进行计算，并据此对建立、划分资源使用序列；然后利用经过划分的序列对LSTM模型进行训练，使其达到预测的要求；最终使用经训练的模型进行预测，根据需要及时重新训练。上述方法在计算机上按照以下步骤实现(见图1-4)：

1.采用自相关函数方法进行序列周期识别：

1.1)对于在线服务的资源使用率以固定间隔均匀采样，建立序列Y＝{y₀,y₁,···y_N-1}，其中y_i表示i时间点对应的指标数值,N为总样本量。

1.2)设滞后量为k，将其从0迭代到N/2的商，计算原序列与滞后k个样本的协方差。此时涉及的有效样本量为N-k，将协方差除以有效样本量进行修正。上述过程如公式(1)。其中i为元素下标，k表示滞后量。

1.3)将结果计入以建立自相关序列Y′＝{y′₀，y′₁，…y′_N/2}。将Y′作图并观察最大的周期振幅的幅度，记作limit。