[发明专利]纵向联邦学习系统优化方法、装置、设备及可读存储介质

说明书

本发明公开了一种纵向联邦学习系统优化方法、装置、设备及可读存储介质，所述方法包括：第一设备与第二设备进行样本对齐得到第一设备的第一样本数据，其中，第一样本数据与第二样本数据的数据特征不同，第二样本数据由第二设备与所述第一设备进行样本对齐得到；采用第一样本数据与第二设备协作训练得到插补模型，其中，插补模型用于输入属于第一设备对应数据特征下的数据、输出属于第二设备对应数据特征下的预测数据。实现了纵向联邦学习的参与者在使用通过纵向联邦学习训练好的模型时，无需其他参与者的配合也能够独立使用模型，扩大了纵向联邦学习的应用范围。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种纵向联邦学习系统优化方法、装置、设备及可读存储介质。

背景技术

随着人工智能的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的概念，使得联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，并且可以避免数据隐私泄露的问题。

纵向联邦学习是在参与者的数据特征重叠较小，而用户重叠较多的情况下，取出参与者用户相同而用户数据特征不同的那部分用户及数据进行联合训练机器学习模型。比如有属于同一个地区的两个参与者A和B，其中参与者A是一家银行，参与者B是一个电商平台。参与者A和B在同一地区拥有较多相同的用户，但是A与B的业务不同，记录的用户数据特征是不同的。特别地，A和B记录的用户数据特征可能是互补的。在这样的场景下，可以使用纵向联邦学习来帮助A和B构建联合机器学习预测模型，帮助A和B向他们的客户提供更好的服务。

但是，在使用通过纵向联邦学习训练好的模型时，参与者A需要与参与者B合作才能使用模型进行预测。例如，参与者A拥有数据特征X3、X4和X5，参与者B拥有数据特征X1和X2，当参与者A需要对一个新的客户进行预测时，因为参与者A不拥有全部的数据特征，即没有该客户在数据特征X1和X2下的数据，那么参与者A就需要与参与者B进行通信，查询参与者B是否也拥有该客户，如果参与者B还没有客户的数据，那么参与者A就无法对该客户进行预测。即使参与者B有该客户的数据，也需要参与者A与B协作才能对该客户进行预测。

发明内容

本发明的主要目的在于提供一种纵向联邦学习系统优化方法、装置、设备及可读存储介质，旨在实现纵向联邦学习的参与者在使用通过纵向联邦学习训练好的模型时，无需其他参与者的配合也能够独立使用模型。

为实现上述目的，本发明提供一种纵向联邦学习系统优化方法，所述纵向联邦学习系统优化方法应用于第一设备，所述第一设备与第二设备通信连接，所述纵向联邦学习系统优化方法包括以下步骤：

与所述第二设备进行样本对齐得到所述第一设备的第一样本数据，其中，所述第一样本数据与第二样本数据的数据特征不同，所述第二样本数据由所述第二设备与所述第一设备进行样本对齐得到；

采用所述第一样本数据与所述第二设备协作训练得到插补模型，其中，所述插补模型用于输入属于所述第一设备对应数据特征的数据、输出属于所述第二设备对应数据特征的数据。

可选地，所述采用所述第一样本数据与所述第二设备协作训练得到插补模型的步骤包括：

将所述第一样本数据输入所述第一设备中预置的第一部分模型得到第一输出；

将所述第一输出发送给所述第二设备，以供所述第二设备根据所述第一输出得到预置第二部分模型的第二输出，并根据所述第二样本数据和所述第二输出计算第一损失函数和第一梯度信息，根据所述第一梯度信息中与所述第二部分模型相关的梯度信息更新所述第二部分模型的参数；

根据从所述第二设备接收的所述第一梯度信息中与所述第一部分模型相关的梯度信息更新所述第一部分模型的参数，迭代训练直到检测到满足预设停止条件时，接收所述第二设备发送的所述第二部分模型；

将所述第一部分模型和所述第二部分模型组合得到所述插补模型。