[发明专利]模型参数融合方法及装置

权利要求书

1.一种模型参数融合方法，其特征在于，应用于机器学习系统，所述机器学习系统包括M个节点，所述方法包括：

第i节点将所述第i节点的模型参数划分为N块；其中，所述第i节点为所述M个节点中参与融合的N个节点中任一节点，1≤所述i≤所述N≤所述M，所述模型参数划分的N块中的第i块为第i块模型参数；

所述第i节点接收所述N个节点中除所述第i节点之外的其他节点分别发送的各自的第i块模型参数；

所述第i节点将所述第i节点的第i块模型参数以及所述其他节点分别发送的各自的第i块模型参数进行融合，获得第i块的总模型参数；

所述第i节点将所述第i块的总模型参数分发给所述N个节点中除所述第i节点之外的其他节点。

2.根据权利要求1所述的方法，其特征在于，在所述第i节点将所述第i节点的模型参数划分为N块之前，所述方法还包括：

所述第i节点接收融合控制器发送的融合指示信息，所述融合指示信息是由所述融合控制器在根据接收的第k节点的地址和融合状态信息确定满足融合条件的所述N个节点之后发出的，所述融合指示信息包括所述N个节点的地址和/或编号，所述第k节点为所述M个节点中完成指定的迭代任务的节点，1≤所述k≤所述M，所述融合状态信息包括节点的计算状态和/或迭代次数。

3.根据权利要求2所述的方法，其特征在于，若所述融合控制器为第一节点，其中，所述第一节点轮流为所述M个节点中T个节点的任一个节点，所述T≤所述M；所述方法还包括：

所述第k节点接收所述第一节点发送的所述第一节点的地址；所述第k节点根据所述第一节点的地址向所述第一节点发送所述第k节点的地址和融合状态信息。

4.根据权利要求1所述的方法，其特征在于，在所述第i节点将所述第i节点的模型参数划分为N块之前，所述方法还包括：

第k节点向所述M个节点中每个节点广播所述第k节点的地址和融合状态信息；

所述第k节点接收第二节点发送的融合指示信息，所述第二节点为所述M个节点中任一节点，所述融合指示信息是由所述第二节点在根据接收的所述第k节点的地址和融合状态信息确定满足融合条件的N个节点之后发出的，所述融合指示信息包括所述N个节点的地址和/或编号。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

所述第i节点将所述第i节点的第j块模型参数发送给所述N个节点中的第j节点，其中，1≤所述j≤所述N，且所述j≠i。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

所述第i节点接收所述第j节点发送的所述第j节点融合后的第j块的总模型参数；

所述第i节点汇总接收到的所述N个节点中除所述第i节点之外的其他节点发送的各自融合后的总模型参数的对应部分，生成所述第i节点的新的总模型参数；

所述第i节点根据所述新的总模型参数，进行迭代计算。

7.一种模型参数融合方法，其特征在于，应用于机器学习系统，所述机器学习系统包括M个节点，所述方法包括：

融合控制器接收所述M个节点中完成指定计算的节点发送的地址和融合状态信息，所述融合状态信息包括节点的计算状态和/或迭代次数；

所述融合控制器根据接收的所述地址和融合状态信息，确定满足融合条件的N个节点；

所述融合控制器向所述N个节点中的每个节点发送融合指示信息，所述融合指示信息包括所述N个节点的地址和/或编号，以使得所述N个节点中的每个节点分别将各自的模型参数划分为N块；将各自模型参数中划分的第i块模型参数发送给第i个节点，其中，1≤所述i≤所述N；所述N个节点中每个节点分别融合各自收到的模型参数，以及所述N个节点中每个节点分别将融合后的模型参数分发给所述N个节点中除自身之外的其他节点。

8.根据权利要求7所述的方法，其特征在于，所述融合条件为完成指定计算的节点个数达到预设数值；或者，完成指定计算的次数达到预设次数；或者，经过预设时长。