[发明专利]一种基于算子拟合的深度神经网络密态转换装置

说明书

本发明通过网络安全领域的方法，实现了一种基于算子拟合的深度神经网络密态转换装置。包括输入单元、拟合的加法注意力机制、输出单元，拟合的加法注意力机制包括三个实现步骤：步骤一，基于加法注意力算法拟合原始注意力计算方式生成密态模型；步骤二，设计新的注意力矩阵，得到高性能的密态模型；步骤三，使用同态加密的请求数据在密态模型中实现高效推断，输出加密后的数据。本发明提供的方法能够实现：优化神经网络模型结构，减少资源消耗；密态神经网络的模型训练，将性能损失降到最低；形成神经网络密态转换统一流程，并提供同态加密请求数据使用密态模型获取推断结果的统一调用流程的效果。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种基于算子拟合的深度神经网络密态转换装置。

背景技术

随着人工智能的进一步发展，神经网络模型被应用到越来越多的隐私敏感领域，比如金融机构、政府部门、医疗健康等重要基础行业，数据的隐私安全正在成为人工智能大规模应用的关键问题。在传统的人工智能对话服务中，用户通常需要将原始敏感数据传入智能服务云端，然后获取对应的明文推断结果。在该模式下，用户的原始输入和输出数据可以直接被服务器获取，极大损坏了用户数据的隐私安全，同时限制了先进人工智能技术在关键、敏感领域中发挥作用。

为了解决神经网络的隐私安全问题，差分隐私、多方安全计算、同态加密等技术相继被引入深度学习领域，其中差分隐私和多方安全计算旨在保护机器学习模型构建者的数据安全，并不适用于提供人工智能云服务的场景。而同态加密是一种非交互式完全意义的密文计算方案，可以极大程度上解决“云端部署模型，客户端请求云端推断”这一需求场景下原始数据及神经网络中间计算结果的暴露风险。

CKKS同态加密算法同时支持加法与乘法算子、支持浮点数运算，成为在机器学习中使用广泛的同态加密方案。然而随着以Transformer骨架模型为代表的现代神经网络模型指数增长的参数规模和大量矩阵乘法计算限制了同态加密技术的使用空间。具体来说，随着神经网络深度增加，一次神经网络推断的乘法电路会变得很深，这将导致1.密文缩放因子的容纳空间会迅速消耗，导致计算精度降低2.通常为了防止密文中噪声超过阈值而采用自举技术bootstrapping以重制计算深度，自举操作的开销极大，当乘法电路深度极大时，需要频繁使用自举操作来支撑一次密文计算，使得密文计算开销显著增加。

因此如何限制神经网络中的乘法计算深度，让神经网络模型初步达成密文计算的能力，进一步降低隐私暴露的风险，成为未来人工智能模型部署和发展的重要需求。

如上所述，使用同态加密方案可以保护用户请求数据在云端人工智能服务中的隐私安全。但是当前Transformer架构的神经网络中乘法深度提高了同态加密方案成本，限制了密文推断的应用潜力。

发明内容

为此，本发明首先提出一种基于算子拟合的深度神经网络密态转换装置，包括输入单元输入需要加密的人工智能对话数据，将输入对话内容的自然语言文本转换为浮点数类型，然后进行同态加密后，输入拟合的加法注意力机制将传统Transformer模型转化为密态模型，以及输出单元；

所述拟合的加法注意力机制将传统Transformer模型转化为密态模型包括三个实现步骤：

步骤一，基于加法注意力算法拟合原始注意力计算方式，在原有Transfor mer骨架模型基础上使用拟合的加法注意力机制，将传统Transformer模型转化为密态模型，生成基于加法注意力机制的密态模型；

步骤二，设计新的注意力矩阵，使用逐层蒸馏的方式将原始模型的参数迁移至新的密态神经网络中，在注意力层的蒸馏中，分别衡量注意力分数输出损失、softmax输出损失和注意力层输出损失，得到高性能的密态模型；

步骤三，使用同态加密的请求数据在密态模型中实现高效推断，输出加密后的输出文本。

所述拟合的加法注意力机制的具体实现方法为：用L1距离衡量相似度，公式如下：