[发明专利]一种基于深度学习的服务提供系统及方法

说明书

本发明属于边缘数据信息计算领域，公开了一种基于深度学习的服务提供系统及方法，保护训练数据的隐私同时提高边缘端服务质量。在云服务器端，结合差分隐私机制生成隐私的压缩深度学习模型：在隐私稠密训练中生成具有隐私保护的全连接深度学习模型，保护训练数据的隐私；在隐私压缩训练中，通过剪切具有隐私保护的全连接深度学习模型，生成具有隐私保护的压缩深度学习模型，保护训练数据的隐私。由于隐私压缩模型大小可缩小为原模型大小的1/9，因此非常适合嵌入边缘服务器，邻近移动设备通过访问边缘服务器，提高边缘服务质量。

技术领域

本发明属于边缘数据信息计算领域，尤其涉及一种基于深度学习的服务提供系统及方法。

背景技术

基于神经网络的深度学习技术发展迅速，使得人工智能(AI)被广泛应用。深度学习模型广泛应用于各种服务提供系统，包括图像识别、语音识别和语言翻译。

物联网(IoT)于1999年在供应链管理中被首次提出。近年来，物联网为医疗保健、环境和运输做出重大贡献。物联网设备通常会产生巨大数量的复杂数据，特别是多媒体数据。目前的神经网络，特别是具有多个隐藏层的神经网络，擅长处理和分析这些巨大的复杂数据。因此，在物联网应用中，深度学习可以用来处理许多复杂任务。现有的基于深度学习的物联网应用的方法大部分依赖于集中式云架构，在集中式云架构中将所有计算任务放置在云服务器。由于对数据传输速度要求比较高，集中式云架构有限的网络带宽不能有效地处理和分析这些物联网数据。特别是随着用户在线活动的增加，在线学习应用对实时性要求越来越高，集中式云服务器无法满足实时性的需求。

随着物联网的发展和集中式云架构的缺陷，边缘计算已成为物联网应用的新型计算模式。边缘计算将计算任务从集中式云服务器卸载到靠近物联网设备的边缘服务器。

因此，基于深度学习的物联网应用非常适合处理边缘计算环境中的复杂任务。深度学习模型部署在边缘服务器，直接处理计算任务从而增强服务质量。但是边缘服务器的功率、处理器速度、数据存储能力和通信资源有限。深度学习模型拥有数百万甚至数十亿的参数需要较大的存储空间，内存带宽和计算成本，因此深度学习模型很难部署到边缘服务器。

深度学习模型通过裁剪低权重的网络连接后得到小规模压缩深度学习模型，很容易部署到边缘服务器中处理学习任务。压缩模型不仅节省计算时间和存储空间，而且具有良好的表现性能。物联网设备访问邻近边缘服务器进而增强服务质量。

但是攻击者可以从深度学习模型中提取有关训练数据集的敏感信息。因此，需要确保深度学习模型的隐私性，从而保护训练数据的隐私。

研究者们致力于研究k-匿名(k-anonymity)技术和安全多方计算(securemultiparty computation)技术，保护数据发布中的隐私。文章“k-anonymity:A model forprotecting privacy”提出k-匿名技术，k-匿名技术指的是通过将对象的准标识符进行泛化、压缩等处理，形成k个不可区分的对象，攻击者无法推断出隐私信息所属的具体对象，从而保护目标对象的隐私，但是，攻击者仍然能利用公布的辅助信息重新识别出个体对象的敏感信息，造成隐私泄露。文章“Protocols for secure computations”提出安全多方计算技术，安全多方计算技术是保护数据隐私的一种主要手段，多个参与方共同合作，在不泄露各自输入数据的前提下共同计算并分享输出结果，但是安全多方计算的计算效率比较低。