[发明专利]聚类模型训练方法和装置、电子设备、计算机存储介质

说明书

本发明实施例公开了一种聚类模型训练方法和装置、电子设备、计算机存储介质，其中方法包括：基于主节点，获取全局聚类模型；针对通过分布式系统各中至少一个从节点中的任一从节点，从分布式系统中的主节点获取全局聚类模型，并分别基于全局聚类模型和分配给相应任一从节点的计算数据进行聚类估计，获得各任一从节点对应的局部聚类模型；分布式系统包括主节点、和至少一个与主节点通信连接的从节点；其中，主节点与各从节点之间通信连接；基于各至少一个从节点对应获得的局部聚类模型，对全局聚类模型进行训练。本发明实施例所述聚类模型训练方法，降低了计算节点之间的同步率，提高了聚类效率。

技术领域

本发明涉及人工智能技术，尤其是一种聚类模型训练方法和装置、电子设备、计算机存储介质。

背景技术

在分布式计算系统上进行的计算称为分布式计算，一个分布式计算系统通常由多个计算节点组成，各计算节点通过网络互相连接。与并行计算相似，分布式计算要求调动所有的处理器、并行完成计算任务。与并行计算不同的是，在分布式系统中，处理器之间往往没有共享的内存，处理器之间的数据交换不能通过共享的内而需要经由网络通信，数据交换成本较大。

聚类分析是一类重要的无监督学习方法，聚类分析的目的是按照样本之间的相似度把给定的数据集划分成若干子集，并使得子集内部样本相似度高，子集之间样本相似度低。通常情况下，样本会被表示为几何空间中的点，这种情况下，聚类分析把距离相近的点划归在同一子集内。聚类分析的方法可以分为参数化和非参数化的两类。参数化方法要求人为指定聚类的个数，按照这个指定的数目对数据集进行分割；非参数化方法不要求人为指定聚类的个数，可以根据数据集的规模自动调整目标聚类个数。

发明内容

本发明实施例提供一种聚类模型训练技术。

本发明实施例提供的一种聚类模型训练方法，包括：

基于主节点，获取全局聚类模型；

针对通过分布式系统各中至少一个从节点中的任一从节点，从所述分布式系统中的主节点获取全局聚类模型，并分别基于所述全局聚类模型和分配给相应所述任一从节点的计算数据进行聚类估计，获得各所述任一从节点对应的局部聚类模型；所述分布式系统包括所述主节点、和至少一个与所述主节点通信连接的从节点；其中，所述主节点为计算系统中的任意一个计算节点，所述从节点为所述计算系统中除所述主节点之外的计算节点，所述主节点与各所述从节点之间通信连接；

基于各所述至少一个从节点对应获得的局部聚类模型，对所述全局聚类模型进行训练。

在基于本发明上述各方法的另一个实施例中，基于各所述从节点对应的局部聚类模型，对所述全局聚类模型进行训练，包括：

基于各所述从节点对应的局部聚类模型，对所述全局聚类模型进行更新，得到更新后的全局聚类模型；

将所述更新后的全局聚类模型作为主节点中的全局聚类模型；

迭代执行各所述从节点分别基于所述全局聚类模型和分配给相应从节点的计算数据进行聚类估计，获得各所述从节点对应的局部聚类模型；基于各所述从节点对应的局部聚类模型，对所述全局聚类模型进行训练，得到更新后的全局聚类模型；直到所述更新后的全局聚类模型满足预设收敛条件。

在基于本发明上述各方法的另一个实施例中，基于各所述从节点对应的局部聚类模型，对所述全局聚类模型进行更新，包括：

在所述从节点基于所述全局聚类模型和分配给所述从节点的计算数据进行聚类估计的同时，所述主节点基于已获得的所述局部聚类模型对所述全局聚类模型进行更新；

或，在所述所有从节点分别基于所述全局聚类模型和分配给所述从节点的计算数据进行聚类估计之后，所述主节点基于各所述局部聚类模型对所述全局聚类模型进行更新。