[发明专利]基于多方安全计算联合更新模型的方法及装置

说明书

本说明书实施例提供一种基于多方安全计算的联合更新模型的方法及装置，在基于多方安全计算联合更新模型过程中，对于模型中包含的全连接层，根据其正向业务处理过程和反向梯度确定过程，基于表征业务数据性质的各种矩阵的维度特点构建双线性三角形，其中，双线性三角形中两两矩阵空间向另一个矩阵空间的映射为预定双线性映射。如此，在针对该全连接层基于输入矩阵所在矩阵空间和参数矩阵所在空间的双线性映射进行正向计算得到输出矩阵后，可以通过安全转换，得到与输出矩阵在同一个矩阵空间的其他矩阵，并利用该其他矩阵与输入矩阵、参数矩阵相关联，以较少的通信量进行后续计算。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及基于多方安全计算联合更新模型的方法及装置。

背景技术

计算机技术的发展，使得机器学习在各种各样的业务场景中得到越来越广泛的应用。联合机器学习是一种在保护隐私数据情况下进行联合建模的方法。例如，企业与企业之间需要进行合作安全建模，可以进行联合机器学习，以便在充分保护企业数据隐私的前提下，使用各方的数据对数据处理模型进行协作训练，从而更准确、有效地处理业务数据。在联合机器学习场景中，各方例如可以商定机器学习模型结构(或约定模型)后，各自使用隐私数据在本地进行训练，并将模型参数使用安全可信的方法进行聚合，最后各方根据聚合后模型参数改进本地模型。联合机器学习实现在隐私保护基础上，有效打破数据孤岛，实现多方联合建模。

联合机器学习可以分为有中心的联合机器学习和无中心的联合机器学习。多方安全计算可以作为实现无中心的联合机器学习的一种形式。多方安全计算又称为安全多方计算，也简称MPC，即多方共同计算出一个函数的结果，而不泄露这个函数各方的输入数据，计算的结果公开给其中的一方或多方。由于多方安全计算的效率与通信量有关，联合训练模型过程中，如何减小数据处理的通信量，减轻通信压力、避免通信阻塞，是提高模型训练效率的重要问题。

发明内容

本说明书一个或多个实施例描述了一种基于多方安全计算联合更新模型的方法及装置，用以解决背景技术提到的一个或多个问题。

根据第一方面，提供一种基于多方安全计算联合更新模型的方法，所述模型由多个参与方各自利用本地的业务数据联合进行更新，所述模型包括第一全连接层，所述第一全连接层对应第一矩阵空间的输入矩阵、第二矩阵空间的参数矩阵、第三矩阵空间的输出矩阵，第一矩阵空间、第二矩阵空间、第三矩阵空间基于预定的双线性映射构成双线性三角形，其中，由第一矩阵空间、第二矩阵空间向第三矩阵空间的双线性映射为第一映射，由第三矩阵空间、第二矩阵空间向第一矩阵空间的双线性映射为第二映射，从第三矩阵空间、第一矩阵空间向第二矩阵空间的双线性映射为第三映射；所述方法由所述多个参与方中的第一方执行，所述第一方持有参数矩阵w、输入矩阵x分别对应的第一分片w0、x0，所述方法包括：利用第一分片w0、x0，与其他方经由基于第一映射的双线性映射协议，确定参数矩阵w对输入矩阵x进行处理的输出矩阵y，得到所述输出矩阵y的第一分片y0；根据所述输出矩阵y的第一分片y0，与其他方完成所述模型的正向计算，并确定反向传播过程中，模型损失针对所述输出矩阵y的整体梯度矩阵z，从而得到整体梯度矩阵z的第一分片z0；根据z0，与其他方经由基于第二映射的双线性映射协议，确定整体梯度矩阵z对特征矩阵x的第一梯度矩阵q，得到第一梯度矩阵q的第一分片q0；以及/或者：基于第三映射的双线性映射协议，确定整体梯度矩阵z对参数矩阵w的第二梯度矩阵s，得到第二梯度矩阵s的第一分片s0；按照第一梯度矩阵q的第一分片q0和/或第二梯度矩阵s的第一分片s0，进行所述模型的安全更新。

在一个实施例中，所述方法还包括：获取第三方针对第一矩阵空间、第二矩阵空间、第三矩阵空间分别生成的第一扰动矩阵第二扰动矩阵第三扰动矩阵以及平衡项各自对应的第一分片其中，各个平衡项分别用于消除各个预定的双线性映射基于第一扰动矩阵第二扰动矩阵第三扰动矩阵引入的偏差。