[发明专利]一种基于深度学习的服务提供系统及方法

权利要求书

1.一种基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法，在云端服务器生成隐私压缩深度学习模型，将隐私压缩深度学习模型部署到边缘服务器，一方面保护训练数据的隐私，一方面为邻近物联网设备提供服务，其特征在于，所述基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法，具体包括：

进行隐私稠密训练，在训练过程中，结合差分隐私机制，生成具有(ε₁,δ)-差分隐私保护的全连接深度学习模型，保护训练数据的隐私；

进行隐私压缩训练，通过剪切具有(ε₁,δ)-差分隐私保护的全连接深度学习模型的低权重的网络连接，只在最后一次剪切操作后，在再训练过程中结合差分隐私机制，形成小规模的具有(ε₂,δ)-差分隐私保护的压缩深度学习模型，保护训练数据的隐私；ε₂表示保护压缩深度学习模型的差分隐私保护水平；

进行隐私稠密训练的方法具体包括：

(a)根据公式计算其中c为常数，l^d表示小批量训练样本的个数，T^d表示最大迭代训练次数，δ是一个很小的常数，表示容忍差分隐私出错的概率，N表示训练样本的总数量，ε₁表示保护全连接深度学习模型的差分隐私保护水平；

(b)每次随机选取l^d个训练样本，训练样本x_i在第t轮的梯度为其中L(Θ_t,x_i)表示损失函数，Θ_t表示第t轮迭代训练的模型参数；

(c)计算第t轮训练样本x_i的约束梯度为

(d)利用高斯机制实现差分隐私保护，对添加合适的高斯噪声，得到扰动的l^d个训练样本的平均梯度其中N(0,(σ^d)²G²I)表示均值为0，标准方差为σ^d·G的高斯分布，I表示相应的单位矩阵；

(e)第t+1轮训练的模型参数更新为η_t表示学习率；

(f)重复步骤(b)到(e)T^d次，进行T^d轮迭代训练，得到具有(ε₁,δ)-差分隐私保护的全连接深度学习模型Θ^d。

2.如权利要求1所述的基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法，其特征在于，所述基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法进一步包括：

初始化，建立两层卷积层和三层全连接层的卷积神经网络，初始化卷积神经网络的模型参数Θ⁰；定义输入训练数据集X＝{x₁,x₂,...,x_N}，第t轮迭代训练的损失函数L(Θ_t,X)，Θ_t表示第t轮迭代训练的模型参数，定义梯度的约束范围G，训练样本x_i的梯度值不大于G，训练样本x_i经约束后的梯度取值定义为g_t(x_i)表示训练样本x_i在第t轮迭代训练时的梯度。

3.如权利要求1所述的基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法，其特征在于，进行隐私压缩训练的方法包括：

a)定义每次选取小批量训练样本的个数为l^p，权重剪切阈值t_pr，模型参数小于t_pr时被剪切掉，模型剪切的总次数为k，根据t_pr对模型参数进行剪切并进行模型再训练，重复以上模型参数剪切和模型再训练k-1次后得到性能良好的剪切模型；

b)在第k次模型剪切操作后，在模型再训练的过程中引入差分隐私机制，得到隐私的压缩深度学习模型。