[发明专利]基于混合云环境的科学工作流数据布局方法

说明书

本发明涉及一种基于混合云环境的科学工作流数据布局方法，包括以下步骤：步骤S1:设定隐私数据集和数据中心最大容量条件，并初始化相关参数；步骤S2:以最小化数据模糊传输时间为目标，并考虑到数据中心的容量约束，在引入不确定性概念后，构建混合云环境下面向模糊时间优化的科学工作流数据布局模型；步骤S3:构建若干初始方案；步骤S4:构建粒子到数据布局结果的映射关系；步骤S5:基于改进的FGA‑DPSO的数据布局算法，获取最优方案。本发明基于混合云环境，实现有效的科学工作流数据布局。

技术领域

本发明涉及信息技术领域，具体涉及一种基于混合云环境的科学工作流数据布局方法。

背景技术

随着大数据技术的广泛应用，现代网络环境产生的数据量日益增长，传统的网格计算等分布式计算已经不能满足海量数据的处理需要，云计算成为了研究热点。混合云环境具有高共享性、高利用性和可定制的优点，由分布在不同地理位置上的数据中心组成，是包括多个私有数据中心和公有数据中心的混合网络计算环境：公有云具有高可靠性和容量极大等优点，其核心特质是资源共享；私有云具有高灵活性和高安全性等优点，能够在工作运行过程中保证数据的隐私。

许多工作步骤严格的科学研究因为流程的复杂和数据量的不断增加，无法人工管理这些科学研究过程，所以采用工作流技术来管理。用于管理、监控和执行这些科学过程的工作流叫做科学工作流。科学工作流涉及到的数据量巨大，通常需要存储于分布在不同地理位置的数据中心，而在科学工作流的运行过程中需要跨数据中心传输这些数据，所以以减少科学工作流运行时的数据传输时间为目标，在带宽有限的条件下对混合云环境下的科学工作流进行数据布局是必要的。

发明内容

有鉴于此，本发明的目的在于提供一种基于混合云环境的科学工作流数据布局方法，有效的对科学工作流数据进行布局。

为实现上述目的，本发明采用如下技术方案：

一种基于混合云环境的科学工作流数据布局方法，包括以下步骤：

步骤S1:设定隐私数据集和数据中心最大容量条件，并初始化相关参数；

步骤S2:以最小化数据模糊传输时间为目标，并考虑到数据中心的容量约束，在引入不确定性概念后，构建混合云环境下面向模糊时间优化的科学工作流数据布局模型；

步骤S3:构建若干初始方案；

步骤S4:构建粒子到数据布局结果的映射关系；

步骤S5:基于改进的FGA-DPSO的数据布局算法，获取最优方案。

进一步的，所述混合云环境由一定数量的公有数据中心和一定数量的私有数据中心构成，其中私有数据中心容量一定，具体的如式(1)所示：

其中：DC_pub表示公有数据中心集合；DC_pri表示私有数据中心集合；dc_i表示编号为i的数据中心；V_i表示数据中心的最大容量；Δ_i∈{0,1}表示数据中心dc_i的属性，若dc_i∈DC_pub，则Δ_i＝0，dc_i只能存放公有数据，若dc_i∈DC_pri，则Δ_i＝1，dc_i可以存放公有数据和隐私数据。

进一步的，所述科学工作流由任务和数据集构成

所述任务之间存在数据依赖关系，即一个任务的输出数据集可能是其他任务的输入数据集，还存在时序上的先后关系，即只有当一个任务的前驱任务全部执行完毕，该任务才能执行，当所有任务执行完毕后，该科学工作流也随即结束；