[发明专利]分布式多站融合系统故障诊断与流量动态调度方法

说明书

本发明提供了分布式多站融合系统故障诊断与流量动态调度方法，包括基于容量水位动态均衡技术确定分布式多站融合系统内每个站点的负载情况，根据得到的负载情况确定需要进行流量调配的站点；建立调度顺序队列，根据队列顺序选取待调度流量；接收调度站点的选择流程图，选取适合接收流量的站点；将需要调出的流量转移至适合接收流量的站点，更新各站点的资源状态。通过对多站融合系统故障的感知、决策、执行技术方面的信息收集与分析，提出多站融合系统的流量调度方法，以及基于容量水位的动态均衡技术的过载保护技术，使站点流量切换过程中，风险较低，流量切换后，系统资源利用率较高。

技术领域

本发明属于计算机领域，特别涉及分布式多站融合系统故障诊断与流量动态调度方法。

背景技术

计算资源监测是站点全维度核心健康指标及健康阈值进行收集与分析，不但要对站点的运行状态进行研究分析，还要在站点负载运行异常时进行流量调度，将超载的流量调度到其他站点，保证本站点的稳定运行。在进行流量调度时，调度中心根据接收到的调度请求，在多个站点中选择最合适的站点进行流量调度。

一般地，现有分布式多站融合系统中总是将站点的CPU使用率，GPU使用率以及内存使用率加权后的值作为站点的计算资源使用率，以此来判断站点的负载情况。但这种方法在某些极端情况，比如CPU使用率和内存使用率为100％而GPU使用率为0％，是无法准确判断出站点负载情况的，也不能很好的调度该站点的GPU资源。同时，现有的分布式多站融合系统流量调度方法并不能很好的解决，不同类型的任务对资源的需求不同，站点分配不当会造成完成时间过长，资源利用率降低这种现象。

发明内容

为了解决现有技术中存在的缺点和不足，本发明提供分布式多站融合系统故障诊断与流量动态调度方法，该方法检测电力多站融合系统运维过程各站点计算资源的使用情况，同时对负载站点进行流量调度，维持站点的正常运行。

为实现上述目的，本发明采取的技术方案包括：

基于容量水位动态均衡技术确定分布式多站融合系统内每个站点的负载情况，根据得到的负载情况确定需要进行流量调配的站点；

建立调度顺序队列，根据队列顺序选取待调度流量；

接收调度站点的选择流程图，选取适合接收流量的站点；

将需要调出的流量转移至适合接收流量的站点，更新各站点的资源状态。

可选的，所述基于容量水位动态均衡技术确定分布式多站融合系统内每个站点的负载情况，根据得到的负载情况确定需要调出的流量，包括：

建立对应不同类型任务的任务标签，统计属于同类任务标签的站点资源占用率；

设定安全水位线，统计站点资源利用率超出安全水位线的任务所对应的站点。

可选的，所述建立对应不同类型任务的任务标签，统计属于同类任务标签的站点资源占用率，包括：

设置每个任务提交时代表该任务的任务类型的任务标签；

获取任务运行需要的计算资源信息以及总计算资源信息，

结合计算资源信息以及总计算资源信息计算该任务需要的资源与站点总资源的比例，得到代表资源使用情况的资源占用率。

可选的，所述建立调度顺序队列，根据队列顺序选取待调度流量，包括：

每个站点按照CPU，GPU以及内存的顺序初始化一个调度顺序队列；

依据调度顺序队列，依次查询站点的计算资源是否处于负载状态，若CPU 处于负载状态，则从站点任务队列中选择一个CPU密集型任务；若GPU处于负载状态，则从站点任务队列中选择一个深度学习型任务；若内存处于负载状态，则从站点内存任务队列中选择一个I/O密集型任务；