[发明专利]基于聚类和注意力机制的集群负载预测方法及系统

权利要求书

1.基于聚类和注意力机制的集群负载预测方法，其特征在于，包括以下步骤：

S1：获取计算机集群的离散时间序列，将离散时间序列分为训练集和测试集；

S2：通过聚类算法，将计算机集群的离散时间序列分成k类；

S3：基于注意力机制，设置k个成对的本类编码器和本类解码器，以及全局编码器；将k类离散时间序列全部输入全局编码器中进行训练，每个类的本类编码器采用本类内的离散时间序列进行训练；全局编码器和本类编码器训练完成后，将全局编码器和本类编码器的输出拼接起来，再输入到相应的本类解码器中进行训练；分别训练编码器和解码器的步骤包括：

S3.1：训练k个本类编码器：

将聚类后的k类离散时间序列分别输入对应的k个本类编码器中，依次经过嵌入层，以及数个堆叠的自注意力层、卷积层和池化层，得到输入数据的询问矩阵、关键字矩阵和值矩阵，并对输入数据的询问矩阵、关键字矩阵和值矩阵进行矩阵乘法运算，得到注意力序列表示A¹_{本类编码器}，A²_{本类编码器}，...，A^k_{本类编码器；}

将注意力序列表示A¹_{本类编码器}，A²_{本类编码器}，...，A^k_{本类编码器}输入到一个预测网络中，得到k个本类编码器预测结果Z¹_{本类编码器}，Z²_{本类编码器}，...，Z^k_{本类编码器}；

根据本类编码器预测结果Z¹_{本类编码器}，Z²_{本类编码器}，...，Z^k_{本类编码器}与真实值的误差，更新k个本类编码器和预测网络的参数，重复上述训练；

经过数轮训练后，得到训练好的k个本类编码器，并得到训练好的k个本类编码器输出注意力序列表示B¹_{本类编码器}，B²_{本类编码器}，...，B^k_{本类编码器}；

S3.2：训练全局编码器：

将聚类后的离散时间序列输入到全局编码器中，依次经过全局编码器的嵌入层，以及数个堆叠的自注意力层、卷积层和池化层，得到输入数据的询问矩阵、关键字矩阵和值矩阵，并对输入数据的询问矩阵、关键字矩阵和值矩阵进行矩阵乘法运算，得到注意力序列表示A_{全局编码器}；

将注意力序列表示A_{全局编码器}输入到一个预测网络中，得到全局编码器预测结果Z_{全局编码器}；

根据全局编码器预测结果Z_{全局编码器}与真实值的误差，更新全局编码器和预测网络的参数，重复上述训练；

经过数轮训练后，得到训练好的全局编码器，并得到全局编码器输出的注意力序列表示B_{全局编码器}；

S3.3：训练k个本类解码器：

将聚类后的离散时间序列，距离x_t最近的t个单位的一部分序列与长为l的零矩阵拼接，分别经过k个本类解码器的嵌入层、自注意力层、卷积层和池化层，输入到本类解码器的注意力层；其中和l为可设定的参数；

同时，将训练好的全局编码器和训练好的k个本类编码器与k个本类解码器一一对应连接，将全局编码器的注意力序列表示B_{全局编码器}和本类编码器注意力序列表示B¹_{本类编码器}，B²_{本类编码器}，...，B^k_{本类编码器}分别输入与其对应的本类解码器的注意力层中，得到预测结果，更新k个本类解码器的参数；重复上述训练，经过数轮训练后，得到训练好的k个本类解码器；

S4：将聚类后的测试集的离散时间序列输入到训练好的本类编码器和全局编码器中得到相应的注意力序列表示，再将本类编码器和全局编码器分别输出的注意力序列拼接后，输入相应的本类解码器中，得到集群负载预测结果；具体的步骤包括：

将聚类后的测试集的离散时间序列对应输入到训练好的全局编码器和训练好的k个本类编码器中，训练好的全局编码器和训练好的k个本类编码器分别输出测试集的注意力序列表示B'_{全局编码器}和注意力序列表示B^1'_{本类编码器}，B^2'_{本类编码器}，...，B^k'_{本类编码器}，将注意力序列表示B'_{全局编码器}和注意力序列表示B^1'_{本类编码器}，B^2'_{本类编码器}，...，B^k'_本类编码拼接起来，分别输入到对应的k个本类解码器中，k个本类解码器分别输出其注意力序列表示A¹_{本类编码器}，A²_{本类编码器}，...，A^k_{本类编码器}；

k个本类解码器的注意力序列表示A¹_{本类编码器}，A²_{本类编码器}，...，A^k_{本类编码器}通过全连接层得到预测结果Z¹_{本类编码器}，Z²_{本类编码器}，...，Z^k_{本类编码器}。