[发明专利]PS与PL协同架构的同态加密神经网络框架与推理方法

权利要求书

1.PS与PL协同架构的同态加密神经网络框架，其特征在于，包括PL侧和PS侧；

PL侧包括结构参数解析单元、明文×密文单元以及结构参数调度单元；

结构参数解析单元，用于接收并解析PS侧发送的DNN模型结构参数；

数据参数调度单元，用于对接收到的PS侧的权重参数以及密文域下的多项式的阶数进行缓存后，进行拼接后输出到明文×密文单元；

明文×密文单元，用于对接收到的数据在密文域下进行多项式的乘法操作，并将乘法操作结果发送给PS侧；

PS侧包括卷积求和单元、部分和累加单元、BN单元、数据更新单元、全局平均池化单元以及全连接单元；

卷积求和单元，用于当PS侧得到第二行的第二个密文像素点和明文的乘法结果之后，根据卷积求和规则，从存储中取出对应位置的密文多项式和明文的乘法结果，进行求和操作之后再取密文模，得到卷积结果或者部分和结果，如果得到部分和结果，则流入部分和累加单元，如果得到卷积结果，则发送给BN单元；

部分和累加单元，用于对接收到的部分和结果，取出对同一个卷积核进行卷积操作的不同输入通道的中间计算结果进行累加，然后取密文模，得到卷积的结果，并发送给BN单元；

BN单元，用于对接收来自卷积求和单元或者部分和累加单元卷积结果，进行BN操作，并将BN操作后的结果发送给数据更新单元；

数据更新单元，用于将接收到的BN单元的数据压缩后发送给云端服务器，然后接收云端服务器与客户端协同处理后的激活矩阵；根据激活矩阵的标记值更新输出特征图数据；

全局平均池化单元，用于对更新后的输出特征图数据进行全局平均池化，并将结果发送给全连接单元；

全连接单元，用于对接收到的数据进行全连接计算，得到图片分类结果。

2.根据权利要求1所述的PS与PL协同架构的同态加密神经网络框架，其特征在于，PS侧还包括第二存储调度单元，第二存储调度单元包括PS侧的DDR4，其中，PS侧的DDR4用于接收并存储来自云端服务器的加密密文特征图和DNN模型的参数和结构，并向云端服务器发送更新前的密文特征图，向PL侧发送更新后的密文特征图。

3.根据权利要求1所述的PS与PL协同架构的同态加密神经网络框架，其特征在于，明文×密文单元用于在密文域下进行多项式的乘法操作时，根据多项式模，进行多项式的降阶，将多项式阶数相同部分的系数进行累加求和，然后进行取密文模运算，完成密文多项式和明文的乘法操作。

4.根据权利要求1所述的PS与PL协同架构的同态加密神经网络框架，其特征在于，PL侧还包括第一存储调度单元，第一存储调度单元包括PL侧的DDR4以及PL侧的片上BRAM；PL侧的DDR4用于存储加密后的输入特征图；PL侧的片上BRAM用于缓存DNN模型的weight、多项式阶数参数以及多项式计算的中间结果。

5.根据权利要求1所述的PS与PL协同架构的同态加密神经网络框架，其特征在于，如果DNN模型的下一层为全连接层，则更新后的输出特征图数据流向全局平均池化单元，否则发送给PL侧的DDR4，作为下一层的输入特征图进行卷积运算。

6.根据权利要求1所述的PS与PL协同架构的同态加密神经网络框架，其特征在于，DNN模型结构参数包括加密后的图片的高度、宽度，当前执行层的步长、卷积核的尺寸、输入通道数、输出通道数以及密文模。