[发明专利]模型训练的方法、装置、数据处理系统及服务器

说明书

本申请实施例公开了一种模型训练的方法、装置、数据处理系统、服务器以及存储介质。该方法包括：获取基于所述多个客户端设备各自对应的模型确定的多个相似度矩阵，所述多个客户端设备各自对应的模型为基于未标注的训练数据训练得到；利用由所述多个相似度矩阵集成得到的集成相似度矩阵对所述服务器对应的待处理模型进行训练，得到目标模型；将所述目标模型对应的模型参数发送至所述多个客户端设备，并指示所述多个客户端设备基于所述模型参数对所述各自对应的模型进行更新。本方法实现了提升服务器对应的待处理模型的性能，以及从整体上提升端云联动场景下模型的性能。

技术领域

本申请涉及人工智能技术领域，更具体地，涉及一种模型训练的方法、装置、数据处理系统、服务器以及存储介质。

背景技术

联邦学习(Federated Learning，FL)又名联邦机器学习、联合学习、联盟学习。联邦学习是一种基于云技术的分布式系统的机器学习框架，在联邦学习架构中，包含服务器和多个客户端设备，每个客户端设备在本地存储有各自的训练数据，且服务器和各客户端设备中都设置有模型架构相同的模型，通过联邦学习架构进行机器学习模型的训练，可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，能从技术上打破数据孤岛，实现AI协作。然而，相关的联邦学习架构中，客户端侧因算力较低只能部署比较小的模型，且客户端侧的模型难以在数据无标注的场景下训练；而服务器端在客户端的数据不可见的限制下难以与客户端的模型进行聚合，影响了模型的性能。

发明内容

鉴于上述问题，本申请提出了一种模型训练的方法、装置、数据处理系统、服务器以及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种模型训练的方法，应用于数据处理系统的服务器，所述服务器与多个客户端设备连接，所述方法包括：获取基于所述多个客户端设备各自对应的模型确定的多个相似度矩阵，所述多个客户端设备各自对应的模型为基于未标注的训练数据训练得到；利用由所述多个相似度矩阵集成得到的集成相似度矩阵对所述服务器对应的待处理模型进行训练，得到目标模型；将所述目标模型对应的模型参数发送至所述多个客户端设备，并指示所述多个客户端设备基于所述模型参数对所述各自对应的模型进行更新。

第二方面，本申请实施例提供了一种模型训练的方法，应用于数据处理系统的客户端设备，所述数据处理系统还包括服务器，所述服务器与多个客户端设备连接，所述方法包括：采用未标注的训练数据对客户端模型进行训练，得到指定模型；将指定数据输入所述指定模型，输出得到模型特征；基于所述模型特征获取相似度矩阵，并将所述相似度矩阵发送至所述服务器；接收所述服务器发送的目标模型对应的模型参数，所述目标模型为利用由多个相似度矩阵集成得到的集成相似度矩阵训练得到；基于所述模型参数对所述指定模型进行更新。

第三方面，本申请实施例提供了一种模型训练的装置，运行于数据处理系统的服务器，所述服务器与多个客户端设备连接，所述装置包括：数据获取模块，用于获取基于所述多个客户端设备各自对应的模型确定的多个相似度矩阵，所述多个客户端设备各自对应的模型为基于未标注的训练数据训练得到；模型训练模块，用于利用由所述多个相似度矩阵集成得到的集成相似度矩阵对所述服务器对应的待处理模型进行训练，得到目标模型；数据发送模块，用于将所述目标模型对应的模型参数发送至所述多个客户端设备，并指示所述多个客户端设备基于所述模型参数对所述各自对应的模型进行更新。

第四方面，本申请实施例提供了一种模型训练的装置，运行于数据处理系统的客户端设备，所述数据处理系统还包括服务器，所述服务器与多个客户端设备连接，所述装置包括：模型训练单元，用于采用未标注的训练数据对客户端模型进行训练，得到指定模型；模型特征获取单元，用于将指定数据输入所述指定模型，输出得到模型特征；数据处理单元，用于基于所述模型特征获取相似度矩阵，并将所述相似度矩阵发送至所述服务器；数据接收单元，用于接收所述服务器发送的目标模型对应的模型参数，所述目标模型为利用由多个相似度矩阵集成得到的集成相似度矩阵训练得到；模型更新单元，用于基于所述模型参数对所述指定模型进行更新。