[发明专利]一种基于任务树的大尺度遥感影像并行镶嵌方法

说明书

技术领域

本发明涉及一种基于任务树的大尺度遥感影像并行镶嵌方法。

背景技术

大尺度遥感影像镶嵌被广泛关注并应用于大区域甚至覆盖全球范围的热带雨林、土地利用、环境变化等科学研究中。遥感影像镶嵌通常将大量的具有重叠区域的遥感影像数据无缝地拼接成一幅几何准确、辐射平衡连续的大镶嵌图，从而为整个大地理区域提供一个连续、全局的视图。然而镶嵌尺度扩大到大区域、全国、甚至是全球范围时，大尺度镶嵌面临挑战：海量的遥感影像数据，复杂的遥感影像镶嵌处理流程，惊人的计算能力需求，由大量具有前驱后续数据依赖关系的子区域镶嵌任务及复杂处理流程导致遥感影像镶嵌算法在集群平台上的MPI并行实现相当复杂且易错，同时算法的并行扩展性差，而且大量具有重叠区的遥感影像和众多具有数据依赖关系的处理任务如何有效组织和管理也并非易事。显然，传统方式的并行遥感影像镶嵌在大尺度处理问题上显得力不从心。

具有多层并行结构且计算规模日益增加的集群系统被广泛用于高性能计算领域，同样也用于在遥感数据的并行处理中。目前，遥感数据并行处理算法中通常采用基于消息传递模型的MPI、共享内存模型的OpenMP以及MPI+OpenMP的混合并行模型。然而，在面对大尺度遥感影像镶嵌问题的时候，纯粹依赖于MPI或者OpenMP等低层次的并行模式将会使得大尺度遥感影像镶嵌的并行处理流程异常复杂，由任务间依赖关系引入的额外的计算节点间通信和同步逻辑将及其复杂和困难。

发明内容

本发明的目的是提供一种基于任务树的大尺度遥感影像并行镶嵌方法，通过将任务之间的依赖关系从镶嵌并行处理流程中解耦出来，从而提供了一种简单却有效的方法来提高遥感影像镶嵌的大尺度处理能力。

本发明的目的是通过以下技术方案来实现：

一种基于任务树的大尺度遥感影像并行镶嵌方法，其特征在于，包括以下步骤：

1）、利用Row-Path两级排序方法对大量待镶嵌遥感影像进行排序，利用分而治之方法将大尺度镶嵌问题递归划分为一系列具有前驱后继数据依赖关系的任务，并根据平衡二叉树构建方法进行镶嵌任务树构建；

2）、对构建的镶嵌任务树的任务节点和任务间数据依赖关系利用DAG（数据库可用性组）模型进行描述和表示，其中利用基于镶嵌任务的覆盖区域和数据量进行运行时间估计，并基于运行时间计算每个任务节点的权值，从而形成带权任务DAG；

3）、任务优先级初始化，利用最早开始时间Ht最为任务初始优先级形成初始调度序列；

4）、基于状态队列的动态调度，为就绪任务自适应地分配计算资源、指定镶嵌影像数据和准备处理参数文件，并将任务插入就绪队列，经优先级排序后顺序提交到集群调度系统中执行并加入运行队列；

5）、实时任务状态监控与优先级重新计算，对运行队列中的任务进行状态监控，重新计算已完成任务的所有后续任务的优先级，并将就绪的后续任务加入就绪队列，直至所有任务执行完成；完成后的失效任务重新提交；

6）、利用MPI消息传递模型对单个镶嵌任务进行细粒度并行实现，单个并行处理任务的处理流程为：细粒度任务/数据划分、投影变换、图像配准、基于直方图匹配的辐射均衡化、图像采样、重叠区拼接线提取、基于拉普拉斯-高斯金字塔加权融合的重叠区匀色处理、计算结果并发输出。

进一步的，所述步骤1）的镶嵌任务树的构建过程中，利用一种简单的平衡二叉树构建方法构建扁平的平衡任务树，首先，利用Row-Path两级排序方法得到空间地理位置偏序的遥感影像序列；随后，对排序后的遥感影像序列进行递归划分，每个划分过程中遥感影像序列被划分为影像数量相当的两个子序列，分别被封装为左子和右子结点。此外，根据影像之间的邻接关系（重叠区域）调整划分后的子序列，用于消除“假孤立影像”（由于排序和序列划分导致原本与其他影像有重叠区域的某景遥感影与当前子序列中的其他影像不存在重叠区域）。

进一步的，所述步骤3）、4）和5）中，采用基于状态队列的动态DAG调度方法对并行镶嵌任务进行有效调度，利用实时状态监控得到的状态报告将任务放入不同的状态队列并进行调度控制。同时采用自定义格式的XML文件方便地指定并描述每个镶嵌任务所需的遥感影像数据，同时为每个任务设计参数文件来描述每个镶嵌任务的处理参数。此外，在调度过程中，任务提交给集群调度软件PBS（工作负载管理器和调度器）进行实际的计算资源分配和执行；支持利用其他本地资源管理器如轻量级的大规模任务调度器。