[发明专利]一种在集群环境中对遥感影像数据进行高效并行存取的方法

摘要

一种在集群环境中对遥感影像数据进行高效并行存取的方法，在GDAL库基础上，通过构建一个遥感影像数据重分布模块，将大量非连续的小型数据读写请求聚合成少量连续的大型数据读写请求，提高了并行读写遥感影像文件的效率。技术方案为：各进程与主进程通信确定数据重分布的方案；如果不需要数据重分布，各进程直接按行读写数据；如果需要且是按行数据划分，那么奇数号进程负责读写文件，偶数号进程与左邻奇数号进程通信；如果需要且是按列或按块数据划分，每一行最左端的进程负责读写文件操作，其它进程与本行最左端的进程通信。本发明克服了GDAL库在按列或按块并行读写遥感影像文件效率低下且出错的问题，可被用于遥感影像处理并行算法的研发。

主权项

一种在集群环境中对遥感影像数据进行高效并行存取的方法，其特征在于步骤如下：（1）在集群环境中，各个进程将各自要读写的遥感影像数据块的范围信息发给主进程，主进程负责收集各个进程读写遥感影像数据块的范围信息；（2）主进程根据所有进程读写遥感影像数据块的范围信息判断数据划分方式，并根据数据划分方式来确定各个进程数据重分布的方式，将数据重分布所需的信息发送给各个进程；所述数据重分的信息包括三组，一是是否需要数据重分布；二是数据划分方法，即按行、按列或按块；三是操作数据方式，包括读操作和写操作，简称读写；（3）各个进程接收和解析主进程发来的数据重分布信息，如果接收到的信息是不需要进行数据重分布，那么各个进程使用GDAL库的RasterlO函数直接按原来按行数据划分方式来读写；（4）如果各个进程接收到的信息是需要进行数据重分布，并且是按行数据划分，则数据重分布策略为：奇数号进程负责读写文件，偶数号进程与左邻奇数号进程通信；（5）如果各个进程接收到的信息是需要进行数据重分布，并且原来的数据划分方式是按列或按块数据划分，则数据重分布策略为：每一行最左端的进程负责读写文件操作，其它进程与本行最左端的进程通信。