[发明专利]将明文域神经网络应用于同态密文域的方法及系统

说明书

本发明公开了一种将明文域神经网络应用于同态密文域的方法，包括以下步骤：第一步，添加候选激活函数；第二步，统计经典激活函数的性能指标；第三步，初始化所述候选激活函数；第四步，训练神经网络模型，得到所述候选激活函数的性能指标；第五步，根据候选激活函数的优化公式，计算惩罚项之和；第六步，确定最优激活函数。本发明可以选择用于同态加密神经网络的最优激活函数，从而使具有该最优激活函数的明文域神经网络能够应用于同态密文域。本发明还公开了一种将明文域神经网络应用于同态密文域的系统以及一种能够应用于同态密文域的神经网络模型。

技术领域

本发明涉及一种数据加密方法，具体涉及一种将明文域神经网络应用于同态密文域的方法。本发明还涉及一种将明文域神经网络应用于同态密文域的系统。

背景技术

随着互联网业务带来的数据激增以及半导体技术发展带来的算力增长，人工智能技术及相关应用得到了蓬勃的发展。人工智能技术极大地促进了相关应用领域的自动化程度和生产效率的提高，使得居民的生活更加便捷。但是，人工智能技术也增加了数据滥用的风险，带来了隐私方面的担忧。《通用数据保护条例》(General Data ProtectionRegulation，简称GDPR)等法规一方面强化了数据使用者的限制和责任，另一方面也促进了隐私保护计算技术的发展。

在众多的隐私保护计算的技术路线中，同态加密(Homomorphic Encryption,HE)技术是具有较高技术难度和广泛应用前景的一种，而同态密码学更是被誉为密码学的“圣杯”。同态加密隐私保护的基本思路是：对明文数据进行同态加密，使得加密后的密文数据具有与明文相同的某些计算性质。例如，对密文进行加法计算后，再将结果解密，等同于在明文上进行加法运算。2009年，Craig Gentry提出了第一种全同态加密方案，验证了全同态加密的技术可行性。在此之后，世界各国相关领域的学者对全同态加密进行了更深入地研究，先后提出了BFV方案、CKKS方案等多种更具有实用性的同态加密方案。

尽管全同态加密可以支持加法和乘法，但在同态加密密文上进行机器学习建模时，依然会面临一些限制。以典型的多层感知器神经网络为例，这类神经网络中，通常具有至少一层隐藏层。在隐藏层中，前一层输入的净激活值通过激活函数转换后，传递给后续激活层或者输出层。激活函数具有非线性特性，因而不同层之间的激活函数的复合可以使得神经网络具备拟合任意连续函数的能力。但由于同态密文域仅支持加法和乘法，已经广泛使用的神经网络激活函数，如Sigmoid、Tanh等函数均不能直接适用于同态密文的计算，因此在同态加密神经网络中，需要根据同态加密的特点，使用同态密文域适用的激活函数来替代现有的激活函数来进行神经网络模型的训练和推断。

CryptoNets是由微软公司于2016年提出的同态加密神经网络，该网络能针对采用同态加密方案加密的MNIST图像数据集进行分类。CryptoNets的激活函数采用的是平方激活函数。平方激活函数具有非线性和乘法次数低的特点，便于在同态密文域进行计算。但与其他经典激活函数如Sigmoid、Tanh、ReLU等相比，其图像较为陡峭，训练过程中容易出现不稳定的情况。为了使得训练收敛，往往还需要对输入数据及权重数据的尺度以及超参数进行相应调整。这不仅增加了建模的工作量，也不利于在研究中与经典激活函数进行比较研究。因为在实际使用中，为了能便于比较不同激活函数的效果，同时减少工作量，通常希望能尽可能多地复用明文域现有的网络结构、超参数以及数据预处理，而不希望针对同态密文域做太多的额外工作。