[发明专利]大规模数据的密文机器学习模型训练方法

权利要求书

1.一种大规模数据的密文机器学习模型训练方法，其特征在于，包括：

在基于全同态加密的训练中使用大规模数据，对大规模数据集进行分块加密，并对分块的密文进行bootstrapping使密文噪音下降；所述分块加密的方法包括小批量梯度下降法，根据打包密文中的槽数来设置小批量处理块的大小，从而最大限度地利用打包密文的容量；并采用NAG即内斯特罗夫加速梯度作为梯度下降优化方法进行优化；

在进行逻辑回归时，使用最小二乘拟合方法来近似激活函数，从而把非线性的计算转为线性的计算；

具有适合于全同态加密的逻辑回归基线方法，包括以下步骤：

S101. 初始化权重向量：初始化权重向量和为零向量；

S102. 使用小批量梯度下降法进行分块：按顺序或随机选择一个小批量训练集{Z_i}，其中，为小批量处理块的大小，f为特征数；训练集{Z_i}的样本被构造为，其中，和分别是原始输入样本和标签值；

S103. 使用最小二乘拟合方法来近似sigmoid函数：令，，其中为sigmoid函数的多项式近似，j[1,...,m]；

S104. 使用NAG方法作为梯度下降优化方法进行优化：

其中，和为参数，并令，；

S105. 循环迭代并输出最终的权重向量：重复步骤S102~S104，迭代K次后输出权重向量和；

训练集的分割和加密方法包括以下步骤：

S201. 假设训练集由个样本和个特征数组成，将这些数据视为一个包括目标的矩阵包括目标，如下所示：

其中，并且，，；

S202. 将矩阵分成多个子矩阵，如下所示：

其中，，；

S203. 将子矩阵应该被打包成一个单个密文：利用最大的密文槽来设置和，即，并将设置为与bootstrapping并行化的权重向量的分割大小相同；

S204. 去加密成一个单独的密文：先将表示成一个向量：

再将向量加密为：

。

2.根据权利要求1所述的一种大规模数据的密文机器学习模型训练方法，其特征在于，对权重向量进行划分和加密，包括以下步骤：

S301. 将权重向量和分成多个子向量和，以实现bootstrapping并行化；

S302. 构造矩阵和，每个矩阵由个重复的子向量和组成，如下所示：

S303. 用和分别来表示矩阵和的加密，并初始化为零向量的加密。

3.根据权利要求2所述的一种大规模数据的密文机器学习模型训练方法，其特征在于，通过向量的迭代循环方法，对逻辑回归基线方法进行优化，所述向量的迭代循环方法包括以下步骤：

S401. 输入矩阵和，其中；

S402. 计算和的哈达玛积：；

S403. 计算的列向量的和：；

S404. 使用sigmoid函数的最小二乘拟合多项式逼近：令，计算，其中表示分别由0.5、0.15和0.0015重复组成的矩阵，表示按位取幂；

S405. 计算和的哈达玛积：；

S406. 计算的行向量的和：；

S407. 使用NAG方法进行优化：，，其中和为参数；

S408. 输出矩阵和，其中。

4.根据权利要求3所述的一种大规模数据的密文机器学习模型训练方法，其特征在于，计算行向量的和方法包括以下步骤：

S501. 对于，令为将的每个元素向左旋转位得到的矩阵；

S502. 初始化，递归次计算，即的行向量之和为：

。