[发明专利]服务器智能管理中二维数据与管理策略迁移方法

说明书

 

技术领域

本发明涉及服务器智能管理及机器学习领域，实现了在服务器管理中训练数据和知识的迁移学习策略,具体地说是一种服务器智能管理中二维数据与管理策略迁移方法。

背景技术

对服务器运行日志采用机器学习的方法建立一个服务器运行规律模型，可得到服务器的智能管理知识及规则。但是为了应对越来越多的网络服务请求，服务器系统规模越来越大，如服务器集群技术和刀片服务器的出现，使得需要被监管的服务器数量越来越多，要对这些服务器的健康信息进行数据分析，训练数据的采集成了一大难题：

（1）利用有限的监控设备难以对所有服务器的健康信息进行采集。

（2）服务器的运行日志是一个海量数据库，并且随着时间的推移不断增大，使得机器学习的任务加大。

（3）虽然已经采集了大量的服务器健康信息，但是假若需要某台服务器某一时间的健康信息作为训练数据，那么数据明显偏少，会造成训练数据的不平衡或过度拟合问题。

（3）有些机器学习任务需要人工标注数据。如果训练数据过大，会占用大量的人力及时间资源。

如通过机器学习技术获取所有服务器的管理策略或某一服务器在某一时间的管理策略，可用的数据非常少，无法为机器

学习提供合格的训练数据。但是可以通过迁移学习将已有的源服务器数据转为目标服务器的训练数据从而获取所要的知识。使用迁移学习最关键的是要解决这两个数据集差别较大的问题。它们往往具有不同的分布特征。如果不做处理直接将源服务器中的数据集放入目标服务器数据集中，会影响目标服务器中已标记的数据，从而影响所获取知识的可信性。

综上所述，需要解决数据迁移时目标服务器数据的构成问题。

发明内容

本发明的目的是提供一种服务器智能管理中二维数据与管理策略迁移方法。

本发明的目的是按以下方式实现的，包括如下内容：

1）迁移学习方案

先做如下定义：在一个学习目标服务器规律的任务中，有一个源服务器的训练数据集                                                表示第个样例，表示它的类标签，是训练数据的个数， 中的样例服从一个固定的但未知的分布，还有少量的目标服务器的训练数据集服从另一个固定的但未知的分布，并用表示，表示第个样例， 表示它的类标签，和中的每一个样例使用的类标签来自同一个类标签集合，包括具有个成员的有限集合，数据迁移的任务就是从中提取出有用的信息用在目标服务器知识学习的任务上，并且找到一个对目标服务器数据预测分类精度较高的映射函数；

2）把分成不同的子集，每个子集里面的数据都是同一类，这些数据表示为，对于中的一个特定的子集，是中的类标签，随机选取个样例，计算这些被选样例的平均值，这个平均值是一个合成数据，并作为用类标号标记的样本，对于的样例个数，用同样的方法生成个合成样本，当所有的的子集都处理完，这样就生成了 个合成数据集,  每一个 有个平均值作为它的成员，作为每一个成员的类标签，当m趋于无穷大时，这些合成数据服从不同的多元正态分布，并且如果它们之间相互独立，同一类别的数据服从同一个多元正态分布，例如的合成数据服从多元正态分布，平均值通过计算得出协方差，式中的是样例个数的维度，是一个非对角线协方差矩阵，通过计算，得出 非对角线上的数据表示特征间的相关性，假设特征间是相互独立的，那么非对角线上的项都为0， 忽略掉非对角线上的数据，只考虑对角线上的数据，对于从 和中抽取的每一个子集的成员生成各自相应的合成数据，每个合成数据有两个值：每一类数据中的均值和协方差矩阵，把以上生成合成数据的方法称为随机平均数法，对于所有的合成数据集，用表示平均值, 用表示协方差；

3）对数据集做一些处理，使它具有与.相同的分布，对于一个有完整协方差矩阵的多元正态分布，概率密度函数如下所示：

 .a

其中是一个n维的随机变量，如果特征相互独立，协方差矩阵会简化为一个对角矩阵，