[发明专利]一种遥感信息产品生成工作流的批量调度方法及装置

说明书

本发明实施例公开了一种遥感信息产品生产工作流的批量调度方法及装置。所述方法包括：获取待生产遥感信息产品的工作流中的各算法任务之间的逻辑关系，并根据所述逻辑关系对各所述算法任务进行分层，得到分层任务；基于可扩展标记语言根据所述分层任务描述待生产遥感信息产品批次对应的批量工作流；基于工作流调度引擎调用所述可扩展标记语言控制所述批量工作流的执行过程。本发明实施例从系统资源优化配置的角度充分利用了遥感信息产品批量化生产的特性，简化了批量生产时的业务逻辑，提升了大规模生产系统的运行效率，可以作为底层技术应用于各类遥感信息产品生产系统中。

技术领域

本发明涉及遥感信息产品生产技术领域，特别是一种遥感信息产品生产工作流的批量调度方法及装置。

背景技术

遥感信息产品是基于遥感数据经模型运算后提取出的各行业所关注的信息，是遥感学科面向各行业应用的出口。标准化的遥感信息产品体系构建与规模化的产品生产越来越成为遥感学科产业化发展的重要方向。近年来随着遥感卫星数据资源的快速累积与高性能计算基础设施的不断普及，遥感信息产品规模化生产的条件日趋成熟，产品生产的目的也不再局限于小范围的科学研究，而是逐渐转向大规模的行业实际应用，相应的，遥感信息产品生产系统相关技术也正在成为研究的热点。

遥感信息产品生产具有层级化的特点，即高层级产品是以低层级产品作为输入的，且层级数量多，层级关系复杂，因此工作流成为了描述遥感信息产品生产流程的自然选择。遥感信息产品生产的另一个特点是批量化，即同一种产品的生产往往是同时批量进行的，在下达生产任务时一般是指定某一时间与空间范围内的一批产品，同时下达任务。对于批量下达的相同工作流任务，就可以通过合并同层级任务而简化任务的调度，以节约并优化系统资源的使用。更具体的来看，由于遥感数据的体量一般都较大，遥感信息产品生产算法调度执行过程中应当尽量避免数据的重复移动，而把相同任务进行合并调度可以有效减少公用数据的重复移动。在工作流执行过程中，系统可能会分派单独的线程去跟踪每一个工作流的执行，采用合并调度的方式可以让一个监控线程一次性跟踪整个批次产品的生产过程，简化系统逻辑，优化资源使用。

目前相关的技术方法主要指向的是遥感信息产品工作流本身的描述与调度问题，或大规模生产系统的构建问题，建尚未进一步针对工作流的合并与批量调度提出有效的解决方案。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种遥感信息产品生产工作流的批量调度方法及装置。

为了解决上述技术问题，本发明实施例提供了一种遥感信息产品生成工作流的批量调度方法，包括：

获取待生产遥感信息产品的工作流中的各算法任务之间的逻辑关系，并根据所述逻辑关系对各所述算法任务进行分层，得到分层任务；

基于可扩展标记语言根据所述分层任务描述待生产遥感信息产品批次对应的批量工作流；

基于工作流调度引擎调用所述可扩展标记语言控制所述批量工作流的执行过程。

可选地，所述获取待生产遥感信息产品的工作流中的各算法任务之间的逻辑关系，并根据所述逻辑关系对各所述算法任务进行分层，得到分层任务，包括：

根据各算法任务之间的逻辑关系，获取所述工作流中的每个串行阶段，并将属于每个串行阶段的所有算法任务归为一个任务层；所述串行阶段中包括所有在当前阶段可被并行执行的并行任务。

可选地，所述基于可扩展标记语言根据所述分层任务描述待生产遥感信息产品批次对应的批量工作流，包括：

在采用所述可扩展标记语言描述所述批量工作流时，基于所述可扩展标记语言的根节点描述所述批量工作流；