[发明专利]用于联邦学习的处理装置、加速器及方法

说明书

本申请涉及一种用于联邦学习的处理装置。所述处理装置包括：模幂计算模块，所述模幂计算模块包括至少一个模幂计算引擎；前处理模块，所述前处理模块配置成提供与多个算子模式对应的运算；蒙哥马利化模块，所述蒙哥马利化模块配置成提供蒙哥马利化运算；混淆计算模块，所述混淆计算模块配置成提供蒙哥马利化域的模乘运算；去蒙哥马利化模块，所述去蒙哥马利化模块配置成提供去蒙哥马利化运算；和控制器。所述控制器用于：根据输入算子模式判断是否调用所述前处理模块，所述蒙哥马利化模块，所述混淆计算模块以及所述去蒙哥马利化模块中的多个，从而与所述模幂计算模块协同完成所述输入算子模式。

技术领域

本申请涉及数据处理及隐私保护技术领域，具体涉及一种用于联邦学习的处理装置、加速器及方法。

背景技术

随着大数据分析和人工智能技术的发展，对高质量标签数据的需求越来越大。例如，对神经网络进行训练以及进行数据挖掘都需要用到海量带有标签的数据。而这些带标签的数据往往来源于日常生活经营活动而产生和积累的应用数据。应用数据往往分散在不同的组织和个体手上，例如交易数据分散在各个金融机构，医疗诊断数据分散在各个医疗机构。另外跨行业跨领域的应用数据往往也是分散的，例如互联网领域的社交属性数据和电商交易数据往往由不同实体掌控。出于保护自身商业利益的目的，也基于数据安全、用户隐私保护以及各行业的政策法规标准不一等考量，掌握应用数据的各个组织或个体往往不愿意或者没有合适手段进行彼此之间的合作，从而很难让各自掌握的应用数据共同发挥作用。这种数据分享和协同合作方面的困境被称之为数据孤岛现象。为了解决跨行业跨组织的数据合作难题，尤其是关键的隐私保护及数据安全的问题，提出了联邦学习的概念。联邦学习指的是拥有数据的各个参与方，在无需共享数据资源且数据不出本地的前提下，通过加密的方式进行加密后数据的联合训练从而协同优化共享机器学习模型而实现多赢合作。

联邦学习涉及两个重要技术指标，分别是隐私安全和计算性能。关于隐私安全方面，横向联邦学习的秘钥协商阶段一般采用Diffie-Hellman（DH）算法实现秘钥的安全配送，且采用同态加密技术例如Paillier加密算法对本地数据进行加密后共享。纵向联邦学习通常采用RSA加密算法结合混淆运算实现等来获取参与者数据的交集。在根据共享数据进行网络模型的联合训练过程中，损失函数和权重等参数均通过同态加密技术处理后参与计算和更新。

为此，联邦学习的隐私安全方面的需求引入了隐私计算，并涉及RSA加密算法、Paillier加密算法、DH算法，以及DSA算法和ElGama算法等。这些算法主要基于模幂运算，而且考虑到联邦学习的参与者拥有的海量数据，因此联邦学习需要用到大量的大整数模乘运算，且相关模数往往有较大的比特位宽，例如2048比特。这些给用于联邦学习的硬件和处理装置的计算性能提出了很大的挑战，因此需要能高效处理复杂运算的用于联邦学习的处理装置、加速器及方法。

发明内容