[发明专利]基于多方安全计算的神经网络模型训练及预测方法、装置

说明书

本说明书实施例提供基于多方安全计算的神经网络模型训练方法、模型预测方法及装置。神经网络模型被分割为至少一个客户端模型和至少一个服务端模型，服务端模型部署在服务端，客户端模型部署在对应训练参与方的客户端。在每次循环时，训练样本数据被提供给神经网络模型来得到当前预测值和当前预测差值。在各个客户端模型，经由各个训练参与方使用各自的客户端子模型以及所接收的数据逐层进行多方安全计算。在各个服务端模型，使用在前客户端模型的计算结果逐层进行非多方安全计算。在循环未结束时，根据当前预测差值，通过反向传播来调整服务端模型和客户端子模型的各层模型参数。利用该方法，能够在确保隐私数据安全的情况下提高模型训练效率。

技术领域

本说明书的实施例通常涉及计算机领域，更具体地，涉及基于多方安全计算的神经网络模型训练方法、模型预测方法及装置。

背景技术

对于公司或企业而言，数据是非常重要的资产，比如，用户数据和业务数据。用户数据例如可以包括用户身份数据等。业务数据例如可以包括在公司提供的业务应用上发生的业务数据，比如淘宝上的商品交易数据等。保护数据安全是公司或企业广泛关注的技术问题。

在公司或企业进行业务运营时，通常会需要使用机器学习模型来进行模型预测，以确定业务运营风险或者进行业务运营决策。神经网络模型是机器学习领域广泛使用的机器学习模型。在很多情况下，神经网络模型需要多个模型训练参与方来协同进行模型训练，多个模型训练参与方(例如，电子商务公司、快递公司和银行)各自拥有训练神经网络模型所使用的训练数据中的部分数据。该多个模型训练参与方希望共同使用彼此的数据来统一训练神经网络模型，但又不想把各自的隐私数据提供给其它各个模型训练参与方以防止自己的隐私数据泄露。

面对这种情况，提出了能够保护隐私数据安全的机器学习模型训练方法，其能够在保证多个模型训练参与方的各自隐私数据安全的情况下，协同该多个模型训练参与方来训练神经网络模型，以供该多个模型训练参与方使用。

发明内容

鉴于上述问题，本说明书的实施例提供了一种基于多方安全计算的神经网络模型训练方法、模型预测方法及装置，其能够在保证多个训练参与方的各自隐私数据安全的情况下提高模型训练效率。

根据本说明书的实施例的一个方面，提供一种基于多方安全计算的神经网络模型训练方法，其中，所述神经网络模型利用第一数目个训练参与方协同训练，所述神经网络模型包括多个隐层并且被按照客户端模型与服务端模型间隔的方式分割为至少一个客户端模型和至少一个服务端模型，每个客户端模型被分解为第一数目个客户端子模型，每个客户端子模型具有相同的子模型结构，所述至少一个服务端模型部署在服务端，每个客户端子模型部署在对应的训练参与方的客户端，所述方法包括：执行下述循环过程，直到满足循环结束条件：将训练样本数据提供给当前神经网络模型，以经由各个当前客户端模型和各个当前服务端模型配合计算来得到所述当前神经网络模型的当前预测值，其中，在各个当前客户端模型，经由各个训练参与方，使用各自的当前客户端子模型以及所述训练样本数据或者在前的当前服务端模型的计算结果来逐层进行多方安全计算，以得到该当前客户端模型的计算结果，以及在各个当前服务端模型，使用在前的当前客户端模型的计算结果来逐层进行非多方安全计算，以得到该当前服务端模型的计算结果；基于所述当前预测值和样本标记值，确定当前预测差值；以及在不满足所述循环结束条件时，根据所述当前预测差值，通过反向传播来逐层调整各个当前服务端模型和各个当前客户端子模型的各层模型参数，所述调整后的各个服务端模型和各个客户端子模型充当下一循环过程的各个当前服务端模型和各个当前客户端子模型。

可选地，在上述方面的一个示例中，所述服务端模型中的神经网络模型分层结构的模型计算与数据隐私保护无关。

可选地，在上述方面的一个示例中，所述客户端模型所包括的隐层的总层数可以根据用于模型训练的算力、应用场景所要求的训练时效性和/或训练安全等级确定。