[发明专利]一种基于Hadoop的StaMPS算法并行化处理方法

说明书

技术领域

本发明涉及Hadoop技术，特别是涉及一种基于Hadoop的StaMPS算法并行化处理方法。

背景技术

随着各种遥感仪器空间分辨率、频谱分辨率的不断提高，随着时间的延长，遥感影像的数据量急剧增长，积累了大量的影像数据。面对数据爆炸式的增长，传统单机串行处理方式已经慢慢落伍，新出现的分布式并行处理日益成熟，将替代原有的处理方式。时下有关数据的海量处理和存储成为研究的热潮。在这其中，由Doug Cutting等人开发的Hadoop平台脱颖而出，成为分布式处理的宠儿。Hadoop分布式架构主要由HDFS分布式文件系统和MapReduce计算模型组成。HDFS主要负责存储海量数据，而MapReduce主要负责计算海量数据。而传统的StaMPS算法处理遥感数据一般都采用单机式的shell和matlab脚本串行处理，在面对今天海量数据处理中有些力不从心，因此使得StaMPS算法处理海量遥感数据和Hadoop结合成为可能。

如何将Hadoop应用于StaMPS算法地面沉降监测，实现海量遥感数据的存储和计算，尽可能地提高效率成为研究的重要内容。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于Hadoop的StaMPS算法并行化处理方法，实现了Hadoop与StaMPS算法的结合，从而实现了海量数据的存储和计算，增强了系统的扩展性和可用性。

为了达到上述目的，本发明采用的技术方案是：

一种基于Hadoop的StaMPS算法并行化处理方法，所述Hadoop包括HDFS和MapReduce，包括：

精配准，运行于Hadoop云平台上，实现影像的配准，把配准单机串行处理改造为多机并行；

PS（全称Permanent Scatterers，永久性散射体）分析，运行于Hadoop云平台上，实现PS点的选择、精简，把单机串行顺序处理改造为多机并行。

较佳地，所述精配准包括：

辅影像到主影像的精配准：用于将所有与主影像的基线小于n（可以自己设定，比如100）米的辅影像直接配准到主影像空间，n的数值根据情况设定；

辅影像到辅影像的精配准：用于将与主影像的基线大于n（可以自己设定，比如100）米的影像配准到与之最近的m个辅影像的空间，当然本发明并不限于2～4个辅影像的空间，根据具体需要调整，n、m的数值根据情况设定。例如，2～4个辅影像的空间，当然本发明并不限于2～4个辅影像的空间，根据具体需要调整。

较佳地，所述辅影像到主影像的精配准，改造for循环，用于把之前的循环迭代目录处理改造为MapReduce并行，每个Map（接受一个键值对，产生一组中间键值对）处理一个互不影响的目录数据。

较佳地，所述辅影像到辅影像的精配准，改造双重for循环，用于把之前的循环迭代目录处理改造为MapReduce并行，每个Map处理一个互不影响的目录数据。

较佳地，所述PS分析由模块组成，所述模块包括：

数据加载模块，用于将数据转化为PS分析需要的格式，并将数据存储到matlab空间；

计算时间相干系数模块，用于迭代计算干涉图中每个候选点的时间相干系数；

PS点选择模块，根据设定的非PS点像元在总像元中所占比例的最大值自适应地求得时间相干系数阈值，从而选择PS点；

PS点精简模块，剔除由于受到邻域影响使得干涉相位噪声大于预设阈值的点；

空间非相干误差改正模块，用于对缠绕的相位进行空间非相干误差改正，包括空间非相干的视线角误差和与主影像有关的空间非相干误差。

较佳地，基于Hadoop的StaMPS算法并行化处理方法包括如下步骤：

精配准：

步骤101.把辅影像目录进行分块，一个Map对应一个辅影像目录，进行辅影像到主影像的配准；

步骤102.在Reduce（接受一个键，以及相关的一组值，将这组值进行合并产生一组规模更小的值（通常只有一个或零个值））端生成需要配准的辅影像对记录，所述辅影像对由配准的辅影像和被配准的辅影像构成； 

步骤103.把Reduce生成的n个辅影像按照要求选取作为下一个MapReduce的输入；

步骤104.每个Map处理一个辅影像到辅影像的配准；

PS分析：

步骤201.进行数据分块，提取PS候选点，每个Map处理一块数据；

步骤202.数据加载,将数据转化为PS分析需要的格式，并将数据存储到matlab空间；