[发明专利]一种适用于分布式计算环境的大型遥感影像重构方法

摘要

本发明公开了一种适用于分布式计算环境的大型遥感影像重构方法，包括以下步骤：从待上传至HDFS的文件中过滤出需要预处理的大型影像文件；将过滤得到的影像文件通过计算以一定的重叠度裁剪为多个影像切片；对影像切片添加描述信息及尾部空白补齐；合并包含影像切片的文件块，并在尾部追加文件整体描述信息；影像处理过程中从文件块中提取影像切片的方法以及将重构后的文件恢复为原影像文件的方法。本发明的实现过程简单、自动性高，对各种影像文件具有普适性，且不会明显地影像分布式环境本身的执行效率及稳定性。本发明有助于进一步推广分布式处理模式在数据量庞大的遥感影像处理领域的应用，并为更深层次的遥感影像分布式计算打下了一定的基础。

主权项

1.一种适用于分布式计算环境的大型遥感影像重构方法，其特征在于包括以下步骤：步骤1：首先读取Hadoop集群配置信息中的HDFS文件分块大小的值，并依据该值对比筛选出超过该大小的文件，然后根据文件后缀名提取出其中的影像文件，并将获取到的文件作为需要进行后续处理的目标影像文件；步骤2：读取目标影像文件，将单个大型影像文件以横向形式裁剪为数个大小接近但不超过一个HDFS文件分块大小的影像切片文件，最后一个切片文件只需小于HDFS分块大小即可，此外裁剪时在相邻的影像切片之间保持一定的上下重叠；步骤3：在各个影像切片文件的头部添加60个字节大小的切片文件的描述信息，并根据计算在文件尾部填充对应长度的空白内容，以确保除最后一个影像切片文件外的其它切片文件大小均等于HDFS文件分块大小；步骤4：按顺序合并各个影像切片文件并在尾部添加对重构的新文件的11个字节整体描述信息，至此完成大型影像文件的重构并得到适用于分布式处理环境的新文件：其中：所述步骤2中，读取目标影像文件的同时提取影像基本信息，包括图像的像素宽度、像素高度、像元数据类型、波段数，以及遥感影像空间信息，即左上角起始坐标、分辨率、空间投影，并写入至对应的影像切片文件在中；通过改变切片的裁剪高度h来控制得到的切片文件大小，控制影像切片大小的公式为：且splitSize<＝blockSize；其中w为影像切片宽度，等于原影像短边，h为影像切片高度，小于原影像长边H，overPixel为重叠影像切片间的重叠宽度，datatypeSize为每个影像的像元数据类型，bandsCount为影像的波段数，imgMetaSize为影像文件的元信息需要占用的存储空间，splitMetaSize是为后续写入切片描述信息预留的空间大小，固定为60个字节，splitSize为裁剪所得影像切片文件大小，n表示影像切片的序号，N则为对当前影像裁剪后得到的影像切片总数量，blockSize则表示HDFS文件分块的大小；使用重叠裁剪的方式，保持上下影像切片间存在重叠范围，以减少影像切割对领域相关影像计算中边缘像元的影响，原影像高度H与各个影像切片之间的高度关系如下：normalSplitHeight×(N–1)+lastSplitHeight+overPixel×2×(N‑1)＝H；其中N则为对当前影像裁剪后得到的影像切片总数量，normalSplitHeight为前N‑1个切片的高度，lastSplitHeight为最后一个切片高度；最后一个影像切片文件大小小于HDFS文件分块大小，但不再受到应尽量接近于HDFS分块大小的限制。