[发明专利]基于近数据计算原则的多卫星数据中心工作流调度算法

说明书

本发明公开了一种基于近数据计算原则的多卫星数据中心工作流调度算法，包括步骤1：构建工作流执行综合时间最小化的近数据计算模型；步骤2：基于计算资源处理能力与关键数据资源传输代价的虚拟工作流动态构建方法；步骤3：基于超图理论的按组划分任务方式PGH对步骤2中的虚拟工作流调度进行优化；步骤4：对预先设置的多卫星数据中心计算近数据计算模型之间的算法进行自动迁移。本发明的有益效果为：可实现最大程度地降低工作流总执行时间，从而大大提高多卫星数据中心的工作流调度效率，能够快速构建基于多卫星数据中心架构的一站式遥感数据产品服务模式，并为应对多用户的复杂需求提供技术支撑。

技术领域

本发明涉及一种面向多卫星数据中心工作流调度算法，具体来说，涉及一种基于近数据计算原则的多卫星数据中心工作流调度算法。

背景技术

随着对地观测领域内多种传感器的发展，海量多源遥感数据获取能力的提高，专业化的数据获取与多源数据的综合应用呈现出精细化分工与协同式综合处理需求并存的发展局面。一方面，各类遥感数据获取与管理方式更为专业化，由此形成了多个不同类型卫星、不同区域或国家的数据中心；另一方面，遥感领域的大型综合性应用又需要得到不同卫星、不同区域或国家数据中心的数据支持，面临着需要同时面对不同类型传感器数据的处理、不同数据中心之间数据类型与覆盖区域的互补、综合性信息处理等现实问题。

这一系列现实状况、需求与发展趋势，一方面催生了各数据中心联合提供数据共享的动力与技术解决方案，另一方面，各中心联合起来，共同为用户提供综合性的信息处理与一站式信息服务，成为未来的发展趋势之一。为此，构建多卫星数据中心协同处理与一站式信息服务模式，依托于国内外已有的气象、陆地、海洋等卫星数据中心，研究在多卫星数据中心架构下处理多源遥感数据产品所需的若干关键技术，建立一个可以统一、协同调度多卫星数据中心资源的多源遥感数据协同处理平台成为当下遥感领域的一个迫切问题。

发明内容

本发明的目的是提供一种基于近数据计算原则的多卫星数据中心工作流调度算法，通过建立近数据计算的目标约束模型，确定最小化的工作流执行综合时间确定近数据计算的具体实现方式。通过超图理论的按组划分任务方式将多卫星数据中心计算平台的工作流调度方法进行优化，能够使相同分组内的计算任务其输入数据的传输时间最短。同时，在输入数据量较大的情况下，利用多卫星数据中心计算平台之间的算法自动迁移方法替代大规模的数据迁移。如此可避免长时间的海量数据传输过程中会遇到的网络中断、存储空间消耗过大等问题，从而提高多卫星数据中心的工作流调度效率和协同处理能力，有效的克服了现有技术中的上述不足。

本发明的目的是通过以下技术方案来实现：

一种基于近数据计算原则的多卫星数据中心工作流调度算法，包括以下步骤：

步骤1：将预先配置的工作流执行综合时间简化为工作流所需数据的传输时间和输入数据拷贝到计算资源后的实际处理时间，以时间成本为约束条件，计算所述工作流执行综合时间的最小值；

步骤2：根据得到待调度的数据资源与计算资源信息，在预先配置的既定调度原则的指导下，选择相匹配的资源进行组合，得到虚拟工作流；

步骤3：基于超图理论的按组划分任务方式PGH对步骤2中的虚拟工作流调度进行优化；

步骤4：对预先设置的多卫星数据中心计算近数据计算模型之间的算法进行自动迁移，包括算法运行环境的解析与封装方法分析以及算法的跨计算模型自动编译。

进一步的，在步骤3中，优化的方法包括将具有相同输入数据的工作流划分为相同的任务组，在同一任务组内重复利用已经拷贝过的输入数据。

进一步的，在步骤4中，所述算法运行环境的解析与封装方法分析包括：

步骤4-1-1：查询预先配置的算法库中关于该算法资源的信息，确定算法资源是否具备源代码和源代码的路径，同时对该路径下的源代码与动态链接库文件进行检查；