[发明专利]一种大规模分布式系统的智能监控与管理方法及系统

权利要求书

1.一种大规模分布式系统的智能监控与管理方法，其特征在于，所述方法包括以下步骤：

S1.任务进入分布式系统时，初始化任务的QoS调控参数；

S2.根据任务的QoS调控参数进行任务调度；

S3.判断所有任务是否全部运行完成，如果是，结束，否则，进入步骤S4；

S4.采集分布式系统信息和运行在分布式系统中的任务的信息，并将上述信息反馈给QoS调控参数预测模型；

S5.判断QoS调控参数预测模型是否训练完成，若是，根据反馈信息，使用训练好的模型预测出新的QoS调控参数，并用新的QoS调控参数更新任务的QoS调控参数，返回步骤S2；否则，根据反馈信息训练QoS调控参数预测模型的同时，输出临时QoS调控参数，并用临时QoS调控参数更新任务的QoS调控参数，返回步骤S2。

2.如权利要求1所述的智能监控与管理方法，其特征在于，所述QoS调控参数包括将要调度任务标识，以及分配给每个将要调度的任务的资源。

3.如权利要求1所述的智能监控与管理方法，其特征在于，步骤S2包括：

S201.根据任务的QoS调控参数，设置任务调度算法的参数；

S202.将已设置好的任务调度算法投入运行，执行实际任务调度。

4.如权利要求1所述的智能监控与管理方法，其特征在于，分布式系统信息包括：带宽、延迟、吞吐量RPC速率，分布式系统的系统资源的使用情况；任务信息包括：各个任务的吞吐量、优先级、工作状态、访问模式、对分布式系统的系统资源的利用情况。

5.如权利要求1所述的智能监控与管理方法，其特征在于，根据反馈信息训练QoS调控参数预测模型，或者，根据反馈信息和用户输入的先验调控信息训练QoS调控参数预测模型，先验调控信息包括任务所需带宽、吞吐量、优先级、工作状态、访问模式、对分布式系统的系统资源的利用情况。

6.一种大规模分布式系统的智能监控与管理系统，其特征在于，所述系统包括：

初始化模块，用于在任务进入分布式系统时，初始化任务的QoS调控参数；

任务调度模块，用于根据任务的QoS调控参数进行任务调度；

反馈模块，用于采集分布式系统信息和运行在分布式系统中的任务的信息，并将上述信息反馈给QoS调控参数优选模块；

QoS调控参数优选模块，用于实时判断QoS调控参数预测模型是否训练完成，若是，训练好的模型基于反馈信息预测出新的QoS调控参数，并将新的QoS调控参数反馈给任务调度模块；否则，根据反馈信息训练QoS调控参数预测模型的同时，输出临时QoS调控参数，并将临时QoS调控参数反馈给任务调度模块。

7.如权利要求6所述的智能监控与管理系统，其特征在于，所述QoS调控参数包括将要调度任务标识，以及分配给每个将要调度的任务的资源。

8.如权利要求6所述的智能监控与管理系统，其特征在于，所述任务调度模块包括：

参数设置子模块，用于根据任务的QoS调控参数，设置任务调度算法的参数；

任务调度执行子模块，用于将已设置好的任务调度算法投入运行，执行实际任务调度。

9.如权利要求6所述的智能监控与管理系统，其特征在于，所述QoS调控参数优选模块包括：

模型训练子模块，用于基于反馈的分布式系统信息和运行在分布式系统中的任务的信息，短时间内高效地训练QoS调控参数预测模型；

QoS调控参数预测子模块，用于使用训练完成的QoS调控参数预测模型预测出新的QoS调控参数。

10.如权利要求6所述的智能监控与管理系统，其特征在于，所述QoS调控参数优选模块还包括人机交互子模块，用于输入用户指定的先验调控信息，所述先验调控信息与基于反馈的分布式系统信息和运行在分布式系统中的任务的信息共同用于所述QoS调控参数预测模型的训练。