[发明专利]基于多维度特征融合的云工作流任务执行时间预测方法

权利要求书

1.基于多维度特征融合的云工作流任务执行时间预测方法，其特征在于，包括以下步骤：

步骤1、采用云工作流的任务执行时间及影响因素数据的历史数据构建样本集，所述样本集的输入为影响因素数据，输出为任务执行时间；

步骤2、建立任务执行时间预测模型，所述任务执行时间预测模型包括数据划分操作、Categorical特征提取器、Numerical特征提取器、特征融合器及预测器，其中，所述数据划分操作用于将所述影响因素数据划分为类别型数据即Categorical数据和数值型数据即Numerical数据；所述Categorical特征提取器用于从Categorical数据中提取Categorical特征向量；所述Numerical特征提取器用于从所述Numerical数据中提取Numerical特征向量；所述特征融合器用于将影响因素数据、Categorical特征向量及Numerical特征向量融合为总融合特征；所述预测器用于根据所述总融合特征预测得到任务执行时间；采用所述样本集完成所述任务执行时间预测模型的训练；

步骤3、将当前云工作流的影响因素数据划分为Categorical数据和Numerical数据，将输入到步骤2训练完成的任务执行时间预测模型中，预测当前云工作流的任务执行时间；

其中，所述Categorical特征提取器采用基于具有注意力机制的堆叠残差循环网络实现，所述堆叠残差循环网络将Categorical数据从高维稀疏空间映射到低维稠密空间；

采用所述Categorical特征提取器进行Categorical特征向量提取的过程包括以下步骤：

步骤2.1.1、初始化网络训练轮次；

步骤2.1.2、将由第i个样本的输入向量x_i分离得到的Categorical数据及Numerical数据输入嵌入模块进行第一次特征提取，其中，所述Categorical数据经过n_Ca个嵌入单元进行特征提取后得到特征向量所述Numerical数据经过全连接单元进行特征提取后得到特征向量

步骤2.1.3、将所述特征向量及特征向量输入融合单元后得到特征向量

步骤2.1.4、将所述特征向量输入门控循环单元模块进行第二次特征提取后得到特征向量

步骤2.1.5、将所述特征向量输入长短期记忆网络模块进行第三次特征提取后得到特征向量将所述特征向量输入至输出层得到所述第i个样本的预测结果

步骤2.1.6、当i大于或等于设定的样本量阈值时，利用第i个样本的输出向量和所述预测结果计算当前训练轮次下的网络误差；否则，i自加1，执行步骤2.1.2；

步骤2.1.7、当所述网络训练轮次达到设定的阈值时，返回误差最小的网络模型，摘掉该网络模型的输出层、Embedding模块中的Dense单元及其相关连接，得到训练完成的Categorical特征提取器；否则，所述网络训练轮次自加1，执行步骤2.1.2；

步骤2.1.8、将当前云工作流的影响因素数据中的Categorical数据输入到步骤2.1.7得到的所述Categorical特征提取器，得到当前云工作流的影响因素数据的Categorical特征向量；

其中，所述Numerical特征提取器基于XGB模型实现，采用所述Numerical特征提取器进行Numerical特征向量提取的过程包括以下步骤：

步骤2.2.1、初始化XGB模型参数，初始化回归树的数目p为1；

步骤2.2.2、将第i个样本的输入向量x_i中的第k个Numerical数据输入第p棵回归树，得到第p棵回归树对样本i的预测结果当第p棵回归树完成对所有样本的预测后，生成第p棵回归树，否则，执行步骤2.2.2；

步骤2.2.3、当p小于设定的阈值N_XGB时，p自加1，执行步骤2.2.2；否则，将生成的N_XGB个回归树集成，并摘掉该XGB模型的输出层，获得基于XGB的特征提取模型；

步骤2.2.4、所述基于XGB的特征提取模型在对所述输入向量x_i的Numerical数据进行离散化编码后，得到所述输入向量x_i的Numerical特征向量；当完成对所有样本的处理后，执行步骤2.2.5，否则，执行步骤2.2.4；

步骤2.2.5、基于步骤2.2.4得到的Numerical特征向量及所述步骤2中得到的Categorical特征向量训练Lightgbm评判模型，根据所述Lightgbm评判模型的输出结果计算预测误差，调整所述基于XGB的特征提取模型的参数，重新提取样本的Numerical特征，并与步骤2中得到的Categorical特征输入到Lightgbm评判模型中，获得输出结果并计算预测误差，当所述预测误差小于设定的阈值时，则完成了所述基于XGB的特征提取模型的训练；否则，执行步骤2.2.2；

步骤2.2.6、将所述步骤2中得到的当前云工作流的Numerical数据输入到步骤2.2.5得到的所述基于XGB的特征提取模型，得到当前云工作流的影响因素数据的Numerical特征向量。