[发明专利]用于联邦学习和隐私计算的任务调度方法及系统

说明书

本申请涉及用于联邦学习和隐私计算的任务调度方法及系统。该方法包括：将业务流程的实施过程转换为由多个子任务组成的子任务队列，其中，所述多个子任务中的每一个子任务对应多个阶段中的一个阶段；为所述多个阶段提供多个工作线程，所述多个阶段中的每一个阶段对应所述多个工作线程中的一个工作线程；按照所述子任务队列的先后次序逐个执行所述多个子任务中的每一个子任务并调用与该子任务所对应的阶段相对应的工作线程来执行该子任务。如此有利于提高执行效率及提供精细化控制同时保证整体计算效率和控制复杂度。

技术领域

本申请涉及数据安全和隐私保护技术领域，具体涉及一种用于联邦学习和隐私计算的任务调度方法及系统。

背景技术

随着人工智能和大数据挖掘分析等应用领域的发展，对数据量的需求越来越大。例如训练人工智能的应用模型需要使用大量带有合适的数据标签或者特征数值的训练数据。高质量的数据往往来源于经营活动中产生和积累的应用数据。但是应用数据往往分散在不同的组织和个体手上，例如交易数据分散在各个金融机构，医疗诊断数据分散在各个医疗机构。跨行业跨领域的应用数据往往也是分散的，例如互联网领域的社交属性数据和电商交易数据往往由不同实体掌控。随着数据所有权的重要性、用户隐私和数据安全等受到更多重视，也随着法律法规对数据收集处理提出更严格的约束和要求，掌握应用数据的各个组织或个体往往不愿意或者没有合适手段进行彼此之间的合作，从而很难让各自掌握的应用数据共同发挥作用。这种数据分享和协同合作方面的困境被称之为数据孤岛现象。为了解决跨行业跨组织的数据合作难题，尤其是关键的隐私保护及数据安全的问题，提出了联邦学习的概念。联邦学习指的是拥有数据的各个参与方，在不共享受保护的隐私数据且自有数据不传递到外部的前提下，通过加密的方式交换模型相关信息从而实现协同优化联邦学习模型。其中，联邦学习根据训练数据在不同参与方之间的数据特征空间和样本空间的分布情况，可以划分为在数据特征空间重叠较大而在样本空间重叠较小的横向联邦学习，在数据特征空间重叠较小而在样本空间重叠较大的纵向联邦学习，以及在数据特征空间和样本空间均重叠较小的联邦迁移学习。

隐私计算（Privacy Computing）一般指的是一种由两个或多个参与方联合计算的技术和系统，并且各个参与方在不泄露各自数据的前提下通过协作对数据进行联合机器学习和联合分析。隐私计算的参与方既可以是同一机构的不同部门，也可以是不同的机构。在隐私计算框架下，参与方的数据明文不出本地，从而保护数据安全的同时实现多源数据跨域合作。隐私计算可以分成数据分散式和数据集中式。数据分散式的隐私计算意味着原始数据位于各参与方自己的服务器，参与方本地完成计算后，再通过网络互相交换中间结果的密文数据。数据集中式的隐私计算意味着各参与方将原始数据的密文传输到集中计算环境，集中计算环境完成计算后，将结果返回到任务发起方。目前需要一种任务调度方法或者任务调度系统，能够做到不仅在资源调度层面和作业调度层面实现细粒度流程控制和精细化管理，而且能够很好应对联邦学习和隐私计算的各种应用场景下复杂多变的需求，从而同时具有较好的执行效率和灵活性。

发明内容

第一方面，本申请实施例提供了一种任务调度方法，包括：将业务流程的实施过程转换为由多个子任务组成的子任务队列，其中，所述多个子任务中的每一个子任务对应多个阶段中的一个阶段；为所述多个阶段提供多个工作线程，所述多个阶段中的每一个阶段对应所述多个工作线程中的一个工作线程；按照所述子任务队列的先后次序逐个执行所述多个子任务中的每一个子任务并调用与该子任务所对应的阶段相对应的工作线程来执行该子任务。

第一方面所描述的技术方案，有利于提高执行效率及提供精细化控制同时保证整体计算效率和控制复杂度，如此不仅在资源调度层面和作业调度层面实现细粒度流程控制和精细化管理，而且能够很好应对联邦学习和隐私计算的各种应用场景下复杂多变的需求。

根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了所述多个子任务中的每一个子任务包括配置信息，该配置信息指示该子任务所对应的阶段以及在所述子任务队列中相对于该子任务的上一个子任务所对应的阶段。