[发明专利]分布式计算系统任务分配方法及相关设备

说明书

本发明涉及人工智能，提供一种分布式计算系统任务分配方法及相关设备。所述方法包括：确定每个计算节点的权重，计算每个计算节点的权重占比；构建包括输入层、隐藏层和输出层的神经网络模型，每个输入层节点和每个隐藏层节点对应一个计算任务，每个输出层节点对应一个计算节点；计算输入层节点和隐藏层节点之间的第一权值参数之和，根据第一权值参数之和确定隐藏层节点和输出层节点之间的第二权值参数；根据第二权值参数计算每个计算节点的任务分配误差；判断任务分配误差是否满足收敛条件；若任务分配误差不满足收敛条件，则调整第二权值参数；修改第一权值参数。本发明可以将计算任务均衡分配给各个计算节点。

技术领域

本发明涉及人工智能，具体涉及一种分布式计算系统任务分配方法及相关设备。

背景技术

随着信息技术的飞速发展，基于数据处理和数据分析的应用受到了广泛的欢迎和关注。对数据(如海量数据)进行复杂计算已经远远超过单台计算机的处理能力，由此推动了对分布式系统及其关键技术的研究。分布式计算中把需要进行复杂计算的数据切分成小块后，分交由多个计算节点并行处理，并将局部计算结果整合得出最终结果。因此，如何合理地对分布式计算系统的资源进行分配，使得分布式计算系统的资源的利用率最大化，成了亟待解决的问题。

发明内容

鉴于以上内容，有必要提出一种分布式计算系统任务分配方法、装置、计算机设备及存储介质，其可以将计算任务均衡分配给分布式计算系统中的各个计算节点。

本申请的第一方面提供一种分布式计算系统任务分配方法，所述方法包括：

(a)根据分布式计算系统中每个计算节点的性能影响因素确定每个计算节点的权重，根据每个计算节点的权重计算每个计算节点的权重占比；

(b)构建神经网络模型，所述神经网络模型包括输入层、隐藏层和输出层，所述输入层的每个输入层节点和所述隐藏层的每个隐藏层节点对应一个计算任务，所述输出层的每个输出层节点对应一个计算节点，所述输入层节点和所述隐藏层节点之间一对一连接，所述隐藏层节点和所述输出层节点之间全连接，所述输入层节点和所述隐藏层节点之间的第一权值参数初始化为1，所述第一权值参数取值为1或0，所述第一权值参数为1表示所述输入层节点对应的计算任务参与任务分配，所述第一权值参数为0表示所述输入层节点对应的计算任务不参与任务分配；

(c)根据所述第一权值参数确定所述隐藏层节点和所述输出层节点之间的第二权值参数，所述第二权值参数取值为1或0，所述第二权值参数为1表示所述隐藏层节点对应的计算任务分配给所述输出层节点对应的计算节点，所述第二权值参数为0表示所述隐藏层节点对应的计算任务不分配给所述输出层节点对应的计算节点，所述第二权值参数满足如下约束条件：每个隐藏层节点对应的第二权值参数之和为1，每个输出层节点对应的第二权值参数之和小于第一权值参数之和与所述输出层节点对应的计算节点的权重占比的乘积；

(d)根据所述第二权值参数计算每个计算节点的任务分配误差；

(e)判断所述任务分配误差是否满足收敛条件；

(f)若所述任务分配误差不满足收敛条件，则根据所述任务分配误差调整所述第二权值参数；

(g)修改所述第一权值参数，返回(c)。

另一种可能的实现方式中，所述构建神经网络模型包括：

将所述输入层节点和所述隐藏层节点根据对应的计算任务的任务量进行排列。

另一种可能的实现方式中，所述根据所述第二权值参数计算每个计算节点的任务分配误差包括：

计算每个计算节点的任务分配误差e＝(y(n)－y′(n))²/2，其中y(n)为所述计算节点对应的第二权值参数之和，y′(n)为所述第一权值参数之和与所述计算节点的权重占比的乘积。