[发明专利]一种工作流调度方法、装置、计算机设备及存储介质

说明书

本发明提供了一种工作流调度方法、装置、计算机设备及存储介质，方法包括：获取工作流和工作流中各任务的隐私等级；获取地理分布式数据中心带宽和隐私等级；根据所述任务的隐私等级和地理分布式数据中心的隐私等级，配置隐私约束条件；将工作流、隐私约束条件以及地理分布式数据中心带宽输入至基于模拟退火的隐私保护任务分配模型，得到第一任务分配方案；将工作流、地理分布式数据中心带宽以及第一任务分配方案输入至具有争用感知的列表调度模型，得到最终工作流调度方案。本发明采用面向地理分布式数据中心的争用感知和隐私保护工作流调度方法，从而从根源上解决了现有的工作流调度方法无法同时解决通信争用问题以及保障隐私安全的问题。

技术领域

本发明属于工作流调度领域，具体涉及一种工作流调度方法、装置、计算机设备及存储介质。

背景技术

随着大数据时代的来临，越来越多的科学任务需要世界各地的科学家合作研究。这些大数据分析应用可以利用科学工作流来抽象表示。在云计算环境中，工作流调度问题是一个关键性问题，其主要目标是合理地安排多个任务组成的工作流，在云计算资源上高效执行这些任务，并最大化系统的性能和资源利用率、保证数据隐私安全性。随着数据规模和复杂度的不断增加，工作流调度问题变得更加复杂和困难，这导致研究重心从普通的云环境转向更广泛的环境，例如地理分布式数据中心。在地理分布式数据中心的情况下，工作流调度问题变得更加复杂，因为它需要将计算任务合理地分配到多个数据中心，而不是集中在单个数据中心。因此，地理分布式工作流调度问题需要考虑多个因素，包括数据传输、通信争用、任务调度和隐私约束等。

现有的工作流调度方法包括列表调度方法、通信争用感知调度方法以及面向地理分布式数据中心的隐私保护方法等。现有方法一，列表调度方法是一种广泛使用的工作流调度方法，由两个阶段组成：1)选择具有最高级别的任务；2)将选择的任务分配给处理器；然而，列表调度方法采用的是理想的计算资源全连接模型，仅围绕工作流中任务在计算资源上的分配展开调度，而这种模型往往并不能很好地考虑到虚拟机终端、服务器终端、数据中心内网络链路和跨云数据中心网络链路等通信资源的争用问题；这些通信争用会严重影响工作流的执行性能、难以保障服务质量。现有方法二，通信争用感知调度方法将任务调度到计算资源调度，还通过将数据中心内部的数据通信调度到通信资源来解决通信争用问题，然而，通信争用感知调度方法虽然解决了通信争用问题，但未考虑在地理分布式数据中心环境下，由于数据存储在不同的地理位置而造成的数据隐私问题。现有方法三，面向地理分布式数据中心的隐私保护方法，在云计算环境中，用户的数据被存储在云服务提供商的数据中心中，而云服务提供商可能会有多个数据中心分布在不同的地理位置上这使得用户数据的隐私受到地理位置的限制；在地理分布式计算环境中，每个任务可能有不同的数据隐私要求；为了保障数据隐私安全，可通过引入相关隐私技术来解决这一问题；尽管面向地理分布式数据中心的隐私保护方法可以提供一定的隐私保护，但由于这些技术要么在数据分析中引入噪音(例如，差分隐私技术)，要么在数据的前后处理中需要额外的开销(例如，数据加密/解密)，因此这些方法会严重影响数据处理的准确性。

综上，现有的工作流调度方法无法同时解决通信争用问题以及保障隐私安全问题。因此，如何解决地理分布式工作流调度中的通信争用问题，并同时保障数据隐私安全，是本领域亟待解决的问题。

发明内容

本发明的目的是针对现有技术的缺陷，提供一种工作流调度方法、装置、计算机设备及存储介质。本发明采用面向地理分布式数据中心的争用感知和隐私保护工作流调度方法，从而从根源上解决了现有的工作流调度方法无法同时解决通信争用问题以及保障隐私安全的问题。

为了实现以上目的，本发明采用以下技术方案：

一种工作流调度方法，其特征在于，包括步骤：

S1、获取工作流和所述工作流中各任务的隐私等级；

S2、获取地理分布式数据中心带宽和隐私等级；