[发明专利]一种保护数据隐私的分布式深度学习推理部署方法

说明书

本发明提供了一种保护数据隐私的分布式深度学习推理部署方法，它解决了现有技术存在的无法同时保证模型精度和保护数据隐私的问题。其方法包括：步骤S1：将数据模型分割成两部分，且一部分部署于客户端，另一部分部署于第一服务器端；步骤S2：将客户端最后一层隐含层参数发送至第一服务器端，完成模型推理过程；步骤S3：用第二服务器端用完整模型进行增量训练，将训练好的模型参数一部分发送到客户端，一部分发送到第一服务器端。本发明优点在于实现在不损失模型精度的同时保护数据隐私。

技术领域

本发明涉及数据传输技术领域，具体涉及一种保护数据隐私的分布式深度学习推理部署方法。

背景技术

随着移动智能终端设备和深度学习算法的快速发展，将人工智能技术在实际场景中进一步落地成为了当下需要优化解决的问题。比如说，在社交电商平台中根据用户公开社交信息为其构建用户画像模型。

通常，深度下学习模型在推理阶段的部署有两种方式。其一，模型压缩后部署在移动终端，模型推理在移动终端完成，输出结果传送至服务器端；另一种则是将数据传送至服务器端，在服务器端完成推理过程。

出于保护数据隐私方面的考虑，第一种方式很好地避免隐私数据泄漏，但是考虑到移动终端设备的计算能力，深度学习模型部署在移动终端通常需要进行压缩以提升速度。深度学习模型压缩会造成其识别精度降低，影响人工智能技术的落地。第二种方式是将数据在移动端进行加密，将密文传送至服务器端后解密，解密完成的数据输入到深度学习模型。这种方式使得计算负载全部落在服务器上，不利于在算力资源有限的情况下部署层数较多的深度学习模型。此外，数据在解密阶段存在数据隐私泄漏的风险，同态加密方式又由于计算复杂度过高无法集成在移动终端内。因此，迫切但需要一种可靠的方案在保护数据隐私性的同时不降低深度学习模型的识别率。

发明内容

鉴于此，本发明的目的在于克服现有技术的不足，提供一种保护数据隐私的分布式深度学习推理部署方法，实现在不损失模型精度的同时保护数据隐私。

为实现以上目的，本发明采用如下技术方案：

一种保护数据隐私的分布式深度学习推理部署方法，包括以下步骤：

步骤S1：将数据模型分割成两部分，且一部分部署于客户端，另一部分部署于第一服务器端；

步骤S2：将客户端最后一层隐含层参数发送至第一服务器端；

步骤S3：用第二服务器端用完整模型进行增量训练，将训练好的模型参数按照步骤S1的分割方式一部分发送到客户端，一部分发送到第一服务器端。

在上述的一种保护数据隐私的分布式深度学习推理部署方法中，所述S1中部署于客户端的层级数小于等于不属于服务器端的层级数。

在上述的一种保护数据隐私的分布式深度学习推理部署方法中，所述的客户端和第一服务器端分别部署深度学习模型的不同模块，两部分的模块相结合为完整的深度学习模型且完整备份于第二服务器端。

在上述的一种保护数据隐私的分布式深度学习推理部署方法中，所述的深度学习模型以迁移学习和增量学习相结合的形式进行训练。

在上述的一种保护数据隐私的分布式深度学习推理部署方法中，所述的迁移学习将模型训练依次分为预训练和微调两个阶段，所述的增量学习发生在预训练阶段。

在上述的一种保护数据隐私的分布式深度学习推理部署方法中，所述的增量学习所适用的数据来自互联网公开数据。

在上述的一种保护数据隐私的分布式深度学习推理部署方法中，所述增量学习采用自监督学习或无监督学习方式。

在上述的一种保护数据隐私的分布式深度学习推理部署方法中，微调后将训练所得的参数同步更新到客户端、第一服务器端和第二服务器端中。