[发明专利]基于联邦决策树模型训练的分布式调度方法、系统及介质

说明书

本发明提供了一种基于联邦决策树模型训练的分布式调度方法、系统及介质。方法包括：提供主控节点和若干个计算节点，主控节点包括全局调度器，计算节点包括本地调度器；全局调度器接收资源申请请求并将计算任务分配到各个计算节点；本地调度器接收所分配的计算任务；当某一计算节点的计算资源不足且另一计算节点的计算资源充足时，计算资源不足的计算节点将部分计算任务提交给计算资源充足的计算节点进行执行；当某一计算节点的计算资源不足且其余计算节点不足以接收额外的计算任务时，全局调度器将计算资源不足的计算节点的部分计算任务放入请求队列中，以等待其余计算节点的计算资源的释放。以上方法可以减轻超大规模数据训练过程中的计算压力。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于联邦决策树模型训练的分布式调度方法、分布式调度系统及计算机存储介质。

背景技术

跨特征联邦决策树算法是联邦学习中一种重要的基础算法，与传统的中心化决策树算法不同，跨特征联邦决策树算法需要在不泄露本地数据的前提下，一方不泄露本地标签，其余参与方不泄露本地特征，联合一方甚至多方的特征数据构建树模型。跨特征联邦决策树算法可以有效丰富特征维度，从而实现更好的分类效果。

然而，为了实现数据不出本地的隐私保护，跨特征联邦决策树算法需要进行大量的加密运算以及频繁的通信，这会导致算法的训练效率极其低下。同时，由于树模型的训练往往采用全量数据的训练模式，无法按照逻辑回归或者神经网络之类的算法按批次训练。这些客观因素限制了跨特征联邦决策树算法在千万乃至上亿规模数据上的训练。

发明内容

本发明的主要目的在于提供基于联邦决策树模型训练的分布式调度方法、分布式调度系统及计算机存储介质，旨在解决现有技术中在对大规模或者超大规模的数据进行联邦决策树模型训练时，其数据计算量大且算法训练低效的问题。

本发明其中一个实施例提供了一种基于联邦决策树模型训练的分布式调度方法。所述分布式调度方法包括：

提供一个主控节点和若干个计算节点，所述主控节点包括全局调度器，所述计算节点包括本地调度器；

所述全局调度器接收资源申请请求并将计算任务分配到各个计算节点；

所述本地调度器接收所述全局调度器所分配的计算任务；

当某一计算节点的计算资源不足且另一计算节点的计算资源充足时，计算资源不足的计算节点将部分计算任务提交给计算资源充足的计算节点进行执行；

当某一计算节点的计算资源不足且其余计算节点不足以接收额外的计算任务时，所述全局调度器将计算资源不足的计算节点的部分计算任务放入请求队列中，以等待其余计算节点的计算资源的释放。

在其中一个实施例中，当某一计算节点的计算资源不足且另一计算节点的计算资源充足时，计算资源不足的计算节点将部分计算任务提交给计算资源充足的计算节点进行执行，包括：

当某一计算节点的计算资源不足以执行所分配的计算任务时，该计算节点将计算资源不足的信息发送至所述全局调度器，并转发给其余计算节点；

其余计算节点接收到某一计算节点的计算资源不足的信息时，若可用资源充足，则将计算资源充足的信息发送至所述全局调度器，并转发至计算资源不足的计算节点；

计算资源不足的计算节点接收到其余计算节点发出的计算资源充足的信息时，将部分计算任务提交给计算资源充足的计算节点进行执行。

在其中一个实施例中，所述计算资源包括中央处理器资源、内存资源以及图形处理器资源中的一种或者多种。

在其中一个实施例中，所述全局调度器接收资源申请请求并将计算任务分配到各个计算节点，包括：

提供集群可用资源表，所述集群可用资源表包括可用的计算节点信息；