[发明专利]用于联邦学习和隐私计算的内部安全攻击检测方法及装置

说明书

本申请涉及一种用于联邦学习和隐私计算的内部安全攻击检测方法及装置。方法包括：获得待检测方发送的数据包；对数据包进行控制流审计生成控制流审计结果，包括比较与数据包相关的联邦学习任务的进程调用列表和参考进程调用列表；和根据控制流审计结果确定发送操作是否发生异常，如果是，则判断受到内部安全攻击。当满足以下条件之一时判断发送操作发生异常：该进程调用列表中存在至少一个不存在于参考进程列表中的发送进程；或者该进程调用列表中的发送进程的次序与参考进程列表中的发送进程的次序不一致；或者相关站点请求导向不可信站点；或者在发送该数据包时存在与相对于该数据包的另一数据包相关的未授权发送进程。如此防御内部安全攻击。

技术领域

本申请涉及数据安全和隐私保护技术领域，具体涉及一种用于联邦学习和隐私计算的内部安全攻击检测方法及装置。

背景技术

随着人工智能和大数据挖掘分析等应用领域的发展，对数据量的需求越来越大。例如训练人工智能的应用模型需要使用大量带有合适的数据标签或者特征数值的训练数据。高质量的数据往往来源于经营活动中产生和积累的应用数据。但是应用数据往往分散在不同的组织和个体手上，例如交易数据分散在各个金融机构，医疗诊断数据分散在各个医疗机构。跨行业跨领域的应用数据往往也是分散的，例如互联网领域的社交属性数据和电商交易数据往往由不同实体掌控。随着数据所有权的重要性、用户隐私和数据安全等受到更多重视，也随着法律法规对数据收集处理提出更严格的约束和要求，掌握应用数据的各个组织或个体往往不愿意或者没有合适手段进行彼此之间的合作，从而很难让各自掌握的应用数据共同发挥作用。这种数据分享和协同合作方面的困境被称之为数据孤岛现象。为了解决跨行业跨组织的数据合作难题，尤其是关键的隐私保护及数据安全的问题，提出了联邦学习的概念。联邦学习指的是拥有数据的各个参与方，在不共享受保护的隐私数据且自有数据不传递到外部的前提下，通过加密的方式交换模型相关信息从而实现协同优化联邦学习模型。其中，联邦学习根据训练数据在不同参与方之间的数据特征空间和样本空间的分布情况，可以划分为在数据特征空间重叠较大而在样本空间重叠较小的横向联邦学习，在数据特征空间重叠较小而在样本空间重叠较大的纵向联邦学习，以及在数据特征空间和样本空间均重叠较小的联邦迁移学习。

联邦学习的场景下，可能受到来自于例如参与者或者服务器的安全攻击，如恶意参与者可能上传不正确的本地模型参数或者恶意数据。这种安全攻击方式对于受到攻击的一方而言是外部安全攻击，面对外部安全攻击可以通过隐私保护措施例如通过同态加密技术将数据进行加密后传输以及通过安全协议进行密文计算，这样从密码学原理上可以保护本地隐私数据在面对外部安全攻击时的安全性和隐私性。但是，面对内部安全攻击，例如来自受到攻击的一方自身内部的恶意进程、恶意程序或者恶意代码的安全攻击，现有的隐私保护措施难以生效。为此，需要一种用于联邦学习和隐私计算的内部安全攻击检测方法及装置，能够防御内部安全攻击例如来自内部的恶意进程、恶意程序或者恶意代码的安全攻击。

发明内容

第一方面，本申请实施例提供了一种内部安全攻击的检测方法，应用于联邦学习和隐私计算，包括：获得待检测方发送的数据包；对所述数据包进行控制流审计生成控制流审计结果，其中，所述控制流审计包括比较与所述数据包相关的联邦学习任务的进程调用列表和参考进程调用列表，所述参考进程调用列表根据该联邦学习任务预先设定；和根据所述控制流审计结果确定与所述数据包相关的发送操作是否发生异常，如果是，判断所述待检测方受到内部安全攻击。其中，当满足以下条件之一时判断与所述数据包相关的发送操作发生异常：与所述数据包相关的联邦学习任务的进程调用列表中存在至少一个不存在于所述参考进程列表中的发送进程；或者与所述数据包相关的联邦学习任务的进程调用列表中的发送进程的次序与所述参考进程列表中的发送进程的次序不一致；或者与所述数据包相关的站点请求导向不可信站点；或者通过对所述待检测方的通信接口进行流量监测而识别出在所述待检测方发送所述数据包时存在与相对于所述数据包的另一数据包相关的未授权发送进程。

第一方面所描述的技术方案，提供了针对可能导致隐私数据被泄露的内部安全攻击方式的有效检测，同时避免影响正常进行的联邦学习任务和正常的数据转发行为，有利于防御内部安全攻击以及提高数据安全和隐私性。