[发明专利]一种适用于企业级运维自动化平台的性能预测方法

摘要

本发明公开了一种适用于企业级运维自动化平台的性能预测方法，它包括以下步骤：S1：数据输入：运维自动化平台的对数据进行采集和预处理之后，发送至性能预测模块；S2：模型选择：根据历史情况以及现有情况，选择进行性能预测的计算方式；S3：性能预测计算：根据选择的性能预测的计算方式进行性能预测计算；所述的性能预测包括CPU/内存预测和磁盘预测；S4：建立预测模型的评价标准，将实际值与预测模型的预测值进行对比，建立自学习过程：当预测模型的预测值不满足规定误差时，根据实际值修改预测模型的预测模型参数。本发明对运维自动化平台建立负载预测机制与算法预测模型，完成针对CPU、内存、磁盘等资源使用情况的预测；并且预测算法可以根据实际情况进行自由选择。

主权项

1.一种适用于企业级运维自动化平台的性能预测方法，其特征在于：它包括以下步骤：S1：数据输入：运维自动化平台的对数据进行采集和预处理之后，发送至性能预测模块；S2：模型选择：根据历史情况以及现有情况，选择进行性能预测的计算方式；S3：性能预测计算：根据选择的性能预测的计算方式进行性能预测计算；所述的性能预测包括CPU/内存预测和磁盘预测；S4：模型评价：建立预测模型的评价标准，将实际值与预测模型的预测值进行对比，建立自学习过程：当预测模型的预测值不满足规定误差时，根据实际值修改预测模型的预测模型参数，保证在特定环境和特定时间内选择出合适的模型；所述的CPU/内存预测的计算方式包括基于自回归模型的预测、相似匹配预测、基于加权最小二乘AR模型的预测；所述的磁盘预测的计算方式包括基于一元线性拟合的预测、基于一元非线性拟合的预测、基于二次拟合的预测、基于线性加权算法的预测、基于三次拟合的预测和基于改进MA模型的预测；所述的基于自回归模型的预测包括以下子步骤：S3111：根据步骤S1输入的按照时间序列周期性采集的CPU/内存负载历史数据，建立一个关于CPU/内存负载与时间变量之间的关系模型：y_t＝φ₀+φ₁y_t‑1+φ₂y_t‑2+…+φ_py_t‑p+e_t；式中，y₁～y_t是时间序列，P阶自回归模型表明序列中y_t是前p个序列的线性组合及误差项的函数，φ₀是常数项，φ₁～φ_p是模型参数，e_t是具备均值为0、方差为σ的白噪声；S3112：采用步骤S3111中建立的关系模型计算特定时间所对应的CPU/内存负载的值，并把所述CPU/内存负载的值作为CPU/内存负载的预测值；所述的相似匹配预测包括以下子步骤：S3121：构建匹配模式，计算CPU/内存负载的历史数据在每个时间点上的变换率CR；S3122：查找所有符合条件的相似模式，将所述相似模式按照距离当前模式的时间远近进行排序，并赋予这些相似模式不同的权重：式中P_CPU(t_i)表示距当前模式第i个CPU/内存负载模式，i＝0,1…,n，i越大表示离当前模式的时间越远，其中当i＝0的时候，P_CPU(t₀)表示当前CPU/内存负载模式；α_i表示P_CPU(t_i)所对应的权重，i越大α_i越小；同时将不同权重的相似模式的截止时间点t_i及对应的权重α_i保存为集合P：P＝{(t_i,α_i)|i＝1,2,...,n}；式中，n表示集合大小，即检测到的相似模式的总数；S3123：计算预测值，依次遍历集合P中的相似模式：(1)当t_i+n_predict≤t₀，即第i个相似模式与当前时间之间的间隔大于预测长度n_predict时，对第i个相似模式之后的n_predict个时间点上的CPU/内存负载数值执行以下公式的计算：式中，V_prediction(k)表示第k步的预测值，k＝1,2…,n_predict；表示相似模式P_i的截止时间点t_i之后第k个点所对应的CPU/内存负载值；(2)当t_i+n_predict＞t₀，即第i个相似模式与当前时间之间的间隔小于预测长度n_predict时，将t_i到t₀之间的CPU/内存负载数值乘上对应的权值加到接下来t₀‑t_i的预测值，公式如下：式中，V_prediction(k)表示第k步的预测值，k＝1,2…,t₀‑t_i；所述的基于加权最小二乘AR模型的预测包括以下子步骤：S3131：根据步骤S1输入的通过SNPM取出各个时间段内不同时间点的CPU/内存负载，得到不同的数据后对数据进行差分处理和标准化处理；S3132：通过AIC准则求出各个预测值p对应的AIC值，从中选出最小的AIC对应的p值作为模型的阶数；S3133：使用LS方法求解出AR模型的参数φ，然后选取一个权值矩阵对参数进行优化，得到优化后的AR模型参数β；φ是用最小二乘法求出来的，β是用加权方法改进得到的；S3134：将参数带入表达式，得到预测数据：X_t＝φ₁X_n‑1+φ₂X_n‑2+...+φ_pX_n‑p+α_n；式中，X为负载序列，α_n为白噪声；所述的基于一元线性拟合的预测包括以下子步骤：S3211：根据步骤S1获取的时间与磁盘使用率的时间对，按时间顺序形成序列，对数据进行预处理，将时间预处理为能够代入到线性函数中的数据形式，并得到使用率为空的数据对，设置使用率为所有使用率的平均值；S3212：根据步骤S3211得到的若干离散的数据对，计算出线性函数的待定系数；S3213：将步骤S3212中得到的待定系数带回到线性函数中，得到拟合函数；S3214：将需要预测的时间点进行与步骤S3211相同的预处理，并带入到步骤S3213构造的拟合函数，即可得到时间点对应的使用率的值；所述的基于一元非线性拟合的预测包括以下子步骤：S3221：根据步骤S1获取的时间与磁盘使用率的时间对，按时间顺序形成序列，对数据进行预处理，将时间预处理为能够代入到非线性函数中的数据形式，并得到使用率为空的数据对，设置使用率为所有使用率的平均值；所述的非线性函数包括双曲线函数、指数函数和幂函数；S3222：根据步骤S3221得到的若干离散的数据对，计算出各个非线性函数的待定系数；S3223：将步骤S3222中得到的待定系数带回到非线性函数中，得到各个待定拟合函数；S3224：计算所有待定拟合函数的拟合度，选择拟合度小的函数作为预测拟合函数；S3225：将需要预测的时间点进行与步骤S3221相同的预处理，并带入到步骤S3224选择的预测拟合函数，即可得到时间点对应的使用率的值；所述基于线性加权算法的预测包括以下子步骤：S3231：根据步骤S1获取的时间与磁盘使用率的时间对，按时间顺序形成序列，对数据进行预处理，将时间预处理为能够代入到线性函数中的数据形式，并得到使用率为空的数据对，设置使用率为所有使用率的平均值；S3232：根据步骤S3231得到的若干离散的数据对，计算出线性函数的待定系数；S3233：将步骤S3232中得到的待定系数带回到线性函数中，得到拟合函数；S3234：根据构造出的拟合函数计算历史数据的使用率，根据计算出来的历史数据的使用率和历史数据使用率的真实值计算得到权值，根据权值重新计算函数的待定系数，并构造新的拟合函数；S3235：将需要预测的时间点进行同步骤S3231中的预处理，带入到步骤S3234中构造的拟合函数即可得到该时间对应的使用率的值；所述的基于改进MA模型的预测包括以下子步骤：S3241：根据步骤S1得到的磁盘使用率数据，对磁盘使用率数据的自相关和偏自相关系数来对模型定阶；S3242：对时间序列进行平稳性检验、消除奇异值和数据平滑处理；S3243：通过公式计算得到最小滞后值；S3244：使用改进的权重转移法来给各个时间点赋予权值；S3245：使用多新息递推最小二乘算法进行模型的参数估计；S3246：根据得到的参数模型对磁盘使用率进行预测；步骤S2的选择，用户根据不同模型的特点进行选择，其中：对于CPU/内存预测：如果想选择工作稳定并且时间复杂度低的就可以选择基于自回归模型的预测；如果匹配模式的特征比较明显，就可以选择相似匹配预测，可以得到更好的数据；如果想选择拟合效果好、平均绝对误差小的，就可以选择基于加权最小二乘AR模型的预测；对于磁盘预测：有一次、二次、三次拟合，根据实际情况，一次拟合数据计算量最小但是准确度较低，三次拟合最准确但是数据计算量更大，二次拟合折中；线性加权算法预测，数据性能更好；基于改进MA模型的预测，减小了滞后值，防止了数据采集误差所造成的影响，拟合效果更好，预测误差更小；所述的方法还包括一个告警与辅助决策步骤S5，包括以下子步骤：监听被监控设备的状态信息，包括当前状态信息和预测状态信息，当设备某一状态数据值超过所设置的阈值时，告警模块将按提前设置好的告警方式进行告警，并且根据常见运维故障构建知识库，在做出告警信息的同时并给出辅助决策；步骤S5中所述的辅助决策包括自动扩容，包括以下子步骤：S50，初始化配置：在配置文件目录下保存三个配置文件，其中第一个文件用于保存存储设备的基本信息，所述的存储设备基本信息包括存储设备的IP信息文件名和使用所述存储设备的主机信息文件名，其中存储设备的IP信息文件名和使用存储设备的主机信息文件名的具体取值分别对应第二个文件的文件名和第三个文件的文件名；所述的第二个文件的内容包括存储设备的IP地址和端口号的组；所述的第三个文件用于将主机中用到存储设备的硬盘分区或文件系统分区映射为webservice所需的设备ID，具体内容包括使用存储设备的主机设备的IP地址、主机是否使用存储设备的文件系统或硬盘分区取值、以及文件系统对应尺码超级设备所需的设备ID；S51：读取配置文件，获取设备ID号；S52：查询主机设备对应的磁盘信息；S53：查看磁盘利用率，并且比较配置文件与数据库中对应的磁盘分区：当磁盘分区或者磁盘使用率超过了阈值，则利用Webservice接口进行扩容；否则直接结束。