[发明专利]隐私保护机器学习

权利要求书

1.一种执行隐私保护机器学习的方法，所述方法包括：

在K个训练计算机处存储来自多个数据客户端的秘密共享私用数据，K等于2或更大，其中在秘密共享时所述秘密共享私用数据的每一数据项由K个部分表示，并且其中所述秘密共享私用数据包括一组训练样本，每一训练样本具有d个特征和输出Y；

初始化机器学习模型的一组d个权重的值，所述权重在所述K个训练计算机之间秘密共享，其中所述权重和所述特征存储为整数；

标识成本函数，所述成本函数在预测所述一组训练样本的所述输出Y时提供所述一组d个权重的精确度；

选择训练样本；

在所述K个训练计算机中的每一个处：

相对于第J个权重计算所述成本函数的误差项以确定第J个增量部分，其中计算所述误差项包括：

在确定前向部分时使用选定训练样本的d个特征部分和d个权重部分执行第一乘法运算，所述前向部分包括来自所述d个特征和所述d个权重的乘积的秘密共享前向传播结果，所述第一乘法运算使用随机整数的第一乘法三元组；

对所述第J个增量部分进行截尾；

使用截尾的第J个增量部分更新所述d个权重部分中的第J个权重部分；

针对其它训练样本和所述d个权重中的其它权重重复操作以训练所述机器学习模型。

2.根据权利要求1所述的方法，其中所述d个特征中的至少一些是进行移位以生成整数的小数值。

3.根据权利要求1所述的方法，其中所述机器学习模型使用线性回归、逻辑回归或神经网络。

4.根据权利要求1所述的方法，其中所述机器学习模型包括比所述一组d个权重更多的权重。

5.根据权利要求1所述的方法，其中确定所述第J个增量部分进一步包括：

使用所述前向部分和输出Y部分将差部分确定为所述误差项的一部分，所述差部分包括秘密共享差；以及

执行所述差部分和第J个特征的第J个特征部分的第二乘法运算以获得第J个增量部分，所述第二乘法运算使用随机整数的第二乘法三元组。

6.根据权利要求5所述的方法，进一步包括：

在所述第二乘法运算之前对所述差部分进行截尾。

7.根据权利要求5所述的方法，其中所述第二乘法运算包括使所述差部分与所述d个特征部分中的每一个相乘以获得增量部分向量的d个增量部分，所述方法进一步包括：

对所述d个增量部分进行截尾；以及

使用截尾的增量部分更新所述d个权重部分。

8.根据权利要求7所述的方法，其中选择所述训练样本作为随机选择的一批B个训练样本的一部分，其中所述第一乘法运算使用具有Bxd尺寸的矩阵X和B个输出的输出Y向量来形成前向部分向量，并且其中所述第二乘法运算使用所述矩阵X和具有长度d的差部分向量来形成所述增量部分向量。

9.根据权利要求8所述的方法，进一步包括：

使用线性同态加密(LHE)或不经意传输(OT)生成乘法三元组作为矩阵，并且其中所述第一乘法三元组和所述第二乘法三元组共享矩阵。

10.根据权利要求8所述的方法，其中使用所述截尾的第J个增量部分更新所述d个权重部分中的所述第J个权重部分包括使用学习步长α/|B|。

11.根据权利要求1所述的方法，进一步包括：

在所述K个训练计算机中的每一个处使用所述d个权重部分重构所述d个权重。

12.根据权利要求1所述的方法，进一步包括：

接收具有d个特征的新样本；

由所述K个训练计算机中的每一个应用所述机器学习模型的权重部分，以获得输出部分；以及

由所述K个训练计算机重构所述输出部分，以获得所述新样本的预测输出。