[发明专利]PS与PL协同架构的同态加密神经网络框架与推理方法

说明书

PS与PL协同架构的同态加密神经网络框架与推理方法，包括PL侧和PS侧；PL侧包括结构参数解析单元、明文×密文单元以及结构参数调度单元；结构参数解析单元，用于接收并解析PS侧发送的DNN模型结构参数；数据参数调度单元，用于对接收到的PS侧的权重参数以及密文域下的多项式的阶数进行缓存后，进行拼接后输出到明文×密文单元；明文×密文单元，用于对接收到的数据在密文域下进行多项式的乘法操作，并将结果发送给PS；PS侧包括卷积求和单元、部分和累加单元、BN单元、数据更新单元、全局平均池化单元以及全连接单元。本发明利用PS侧和PL侧协同工作，提高图片分类任务的执行效率，减少推理时间。

技术领域

本发明属于通信技术领域，具体涉及一种PS与PL协同架构的同态加密神经网络框架与推理方法。

背景技术

在过去的几十年里，深度神经网络(DNN)以惊人的速度发展，并逐渐融入人们的生活(例如无处不在的物联网设备)，包括图像分类、语音识别和物体识别。但是现阶段的神经网络的训练大多都是基于大数据集的，而且进行推理工作也涉及到用户的图像数据。由于用户传输的图像数据可以被云端所查看，这提高了第三方滥用未加密的数据的风险。特别是涉及到商业或者是医疗的隐私数据，这种数据滥用会造成很大的不良影响。

同态加密(HE)作为一种数据加密方案，在保护隐私的云计算中具有巨大潜力，已经成为这些年来学者的研究热点。但是HE的数据保护机制是通过大量的计算来换取的，计算开销巨大。而且神经网络本身计算量巨大，这使得基于HE的神经网络推理研究更加雪上加霜。

CPU虽然能方便的和外部进行通讯，对图片进行接收和发送，但是神经网络的高度并行、非线性使得神经网络在通用处理器(CPU)的效率并不高，而且很难达到较高的性能。目前，主流的硬件平台包括GPU以及FPAG。GPU的内存带宽和逻辑单元远高于CPU，对数据运算有着很大的优势，但是它的能耗太高，对图片分类任务的应用场景具有很大的应用局限性。FPGA具有流水线和数据并行的特点，但是它并不擅长流程控制，且相比较CPU而言和外部接口交互更为复杂，不容易对接收到的图片数据和模型参数数据进行预处理操作。FPGA在设计验证完成后还可以进一步对FPGA部分流片形成专用集成电路即ASIC以进一步降低功耗，提升性能。

上述在处理图片分类时，存在处理效率低，应用场景受限以及开发难度大等问题。

发明内容

本发明提供了一种PS与PL协同架构的同态加密神经网络框架与推理方法，以高效实现在HE在硬件上的计算以及神经网络在硬件上的推理计算。

为实现上述目的，本发明采用如下的技术方案：

一种基于PS与PL协同架构的同态加密神经网络框架，包括PL侧和PS侧；

PL侧包括结构参数解析单元、明文×密文单元以及结构参数调度单元；

结构参数解析单元，用于接收并解析PS侧发送的DNN模型结构参数；

数据参数调度单元，用于对接收到的PS侧的权重参数以及密文域下的多项式的阶数进行缓存后，进行拼接后输出到明文×密文单元；

明文×密文单元，用于对接收到的数据在密文域下进行多项式的乘法操作，并将乘法操作结果发送给PS侧；

PS侧包括卷积求和单元、部分和累加单元、BN单元、数据更新单元、全局平均池化单元以及全连接单元；

卷积求和单元，用于当PS侧得到第二行的第二个密文像素点和明文的乘法结果之后，根据卷积求和规则，从存储中取出对应位置的密文多项式和明文的乘法结果，进行求和操作之后再取密文模，得到卷积结果或者部分和结果，如果得到部分和结果，则流入部分和累加单元，如果得到卷积结果，并发送给BN单元；